엄청난 양의 데이터를 이용해서 LLM이 다음 토큰을 예측하도록 학습시키는 것
모델이 쓰여진 모든 것을 훈련시키는 과정
목표는 다음 토큰을 예측하는 것
데이터셋 - 인터넷에서 구할 수 있는 모든 것
모델에 필요한 연산량 얘기 나올 때 이 표기법이 사용됨
FLOPs - 부동소수점 연산 (컴퓨팅 단위 - FLOPs 수치가 높을 수록 관련된 연산량이 많아짐)
