RobertaForQuestionAnswering 을 수정함

• AutoModelForQuestionAnswering 를 통해 Roberta-large를 모델 이름으로 넣으면 해당 클래스가 반환되는 것으로

• Trainer의 compute_loss에서 수정해도 되지만

• 해당 클래스에서 수정하는게 더 간편해보인다.

• 로스가 계산되는 지점을 보면 start logits과 end_logits 각각 CE로 계산되는데, 해당 지점을

  • 수정님이 제안한 방식과,
  • start_logit, end_logit 각각에 다른 가중치를 부여해서 학습하는것을 시도했다.

이렇게 수정하고 나면 main에서 AntoModelForQuestionAnswering 말고 해당 클래스를 반환해주는 것으로 수정하면 된다.

• 참고로 custom한 클래스를 만들기 위해 import 해줘야하는 것들이 있다.