1. GPT-1

• BERT와 가장 큰 차이점은 GPT는 단일 방향으로 주어진 단어 다음에 가장 올 확률이 높은 단어를 예측하는 모델입니다
• Generation 분야에 강점을 가지고 있는 모델입니다.
• GPT-1 모델 : 자연어 문장 분류하는데 성능이 좋은 디코더

  • 적은 양의 데이터에서도 높은 분류 성능을 낸다. (다양한 task SOTA)

  • 특정 task에 fine-tunning된 모델은 다른 task에 사용 불가하다.

  • 프리트레인의 새 지평을 열었지만, 여전히 지도학습을 필요로한다.

    • 그러나! 언어의 특성상 지도학습의 목적함수와 비지도학습의 목적함수가 같다!

    ⇒ 엄청나게 큰 데이터셋을 사용하면 자연어 task를 자연스럽게 학습한다.

    ⇒ pre-trained model을 굳이 fine-tunning해서 한가지 task에만 수행하는 건 바보같은 짓이다. 라며 zero-shot, one-shot , few-shot 등장!

2. GPT-2 & GPT-3

• GPT-1 에서 모델 사이즈를 키웠다(117m → 1,500m) , 학습데이터(11GB → 40GB)도 늘림

  • 이로 인해 one-shot,few-shot, zero-shot 러닝이 성공적으로 작동함
    • 일반 신경망 수준이지만 그래도 새로운 지평이다! (파인튜닝없이)

• GPT-2에서 사이즈를 더 늘렸다.(1,500m → 175,000m) , 학습데이터도 늘림(40GB → 570GB)

  • 뉴스 기사를 생성했을 때, 사람이 쓴 것으로 판단하는 비율이 52%, 88%였음

• 사용예시 : 상식 Q&A

  

⇒ Awesome GPT-3 에 70개 가량의 예제가 수록되어있다.

• 한계점
  • weight update가 없다는 건 새로운 지식습득이 없다는 것인데, 시대가 변하기 때문에 추가학습이 필요하다.
  • 글로만 배웠기에 멀티모달 정보가 필요하다!

3. GPT-2 pre-training 실습