磯村と申します。

今回、決勝進出はできていませんが、運よく技能賞をいただけることになりました。

数日前に提出した最終レポートを共有いたします。

LLM_2024_最終課題レポート提出：Elyza-tasks-100を利用したLLM-JP_3_13Bの進化的モデルマージとRAG・プロンプトエンジニアリングによる出力改善.pdf

・レポートに記載されていない補足としては、予選のjsonlファイルの提出回数は12回です。 ・LLMによる自動採点・評価は行っておらず、基本的には目視により、elza-tasks-100の類似問題を中心に、日本語として不自然がないか、汎用性があるかどうかを中心に俯瞰して確認し、駄目そうなものは、どんどん切り捨てています。 ・FTはmax_seq_length = 4096 で、あとはデフォルトの設定のまま、データセットの種類・数とエポック数を変えるということを繰り返しました。

よろしくお願いします。