의제

• [x] 진행상황 공유

회의내용

1. 진행상황 공유

• 형미: Llama 파인튜닝 진행중 → beomi/Llama-3-Open-Ko-8B. 일단 코드는 기본적으로 다 작성했고, 원래 하려했던 koLlama모델이 hugging face에서 가져오려니까 안돼서 우선 Llama3를 한국어로 좀 더 학습시킨 모델을 가져와서 훈련 중인데, 계속 런타임이 끊겨서 끝까지 돌려보지 못함. 런타임 끊겨도 이어서 훈련할 수 있게 코드 넣었는데 적용이 잘 안되는지 안된다.
• 지인: 형미와 마찬가지로 hugging face에서 쓰려고 한 모델을 못 불러오는거 같아서 찾아보다가 GPT4ALL을 추천 받아서 코드 작성하는 중→ Llama가 아니긴 한데 Llama2랑 성능이 비슷한데 공개돼 있고, 대형모델 보다 가볍고 커스터마이징이 쉽다는 장점이 있어서 얘로 시도 중..!
• 서희: 충청도랑 경상도 데이터(몇 백개)로 돌렸는데 과적합이 일어난 것 같아서, 우선 데이터 셋 양을 늘리고 미니 배치로 학습 시킬 예정. 그리고도 계속해서 과적합이 발생한다면 dropout 기법을 이용할 예정.

-> 형미: 데이터셋이 서희님이 돌리셨다는 몇 백개가 다인가요..? 원래 많았던거 같은데 -> 서희: 코드 작성을 위해 샘플 데이터만 돌린 것. 지금 작성한 코드가 loss가 괜찮게 나오는 거 같아서 사용할 -> 형미: 그럼 빠른 시일 내에 전체 데이터를 돌려야 성능 확인, 파인튜닝이 가능할 듯해요..! 그리고 언어모델 쪽이랑 학습시키는 사투리 지방 통일 필요해서, 우선 경상도만 다 학습합시다.. 아 그리고 충청도로만 파인튜닝 했을 경우엔 경상도는 성능이 떨어지는 게 맞지 않나요?(과적합이라 하나요..?) -> 서희: 그래도 한국어여서 경상도 억양에 대해서도 어느 정도 이상 성능이 나올 줄 알았다

• 서희: 0603 whisper 학습 결과

→ 서희: 테스트해볼 웹사이트를 따로 구현해둠 : https://github.com/decembix/HeardU

이후 디자인 변경

조용한 곳에서 말한 경우는 비슷하게 맞춤을 보였음 학습시킨 데이터들에 노이즈가 부족해서 이런 문제가 발생했다고 추측

음식점같이 시끄러운 곳에서 인식한 경우 잘 인식하지 못했고