요약

1. 이미 기존 kr - LLM의 성능이 뛰어남
2. LoRA를 통해서 다양한 시도를 해봤지만, 기존 align이 너무 잘 되어있어서 오히려 성능하락
3. 최대한 기존 모델 성능을 살리며, fine-tuning 하고자 함
4. polar model에 input format이 제공되지 않음. 어떤 방식으로 학습이 진행되었는지 모름

Environment

Linux

python : 3.10

gpu : a100 or rtx6000

cuda : 12.1

Dacon 홈페이지

https://dacon.io/competitions/official/236291/overview/rules

성적 20등 : 0.806