의제

• [x] 중간발표 피드백 논의
• [x] 진행상황 공유
• [x] 다음 회의까지 계획 수립

회의내용

1. 중간발표 때 받은 피드백

• 이미 존재하는 논문이 있는데 그거랑 차별점? 실제 클로버에서도 사투리 적용되는데? → 우리 프로젝트만의 차별점이 더 필요하다고 느낌. Llama 파인튜닝할 때 단순히 사투리를 입력값을 이해하는 것을 넘어, 결과값(?)도 사투리로 되게 학습시켜 친근감을 느끼게 해주는 것도 괜찮을 것 같다.
• 정확도 측정 지표? → WER(Word Error Rate) 사용 예정
• llama가 한국어 관련 이슈? 가 있는 것 같은데 고려해봤는가? → 한국어에 특화된 KoLlama 사용으로 변경
• whisper가 다음것을 예측하는 형태인데, 애초에 발음이 이상하면 다음 것을 예측할 수 있을까? → 확신이 없어서, whisper 파인튜닝 하며 좀 더 알아보자

2. 진행상황 공유

• 형미: Llama에 사용될 데이터셋이 whisper와 별도로 가야할 것 같아서 데이터셋 찾아보는중.. 근데 직접 만들어야 할 것 같다. 우선 경상도 사투리부터 해볼 계획. 데이터셋 만드는 중

• 지인:Llama에 사용될 데이터셋이 whisper와 별도로 가야할 것 같아서 데이터셋 찾아보는중.. 근데 직접 만들어야 할 것 같다. 우선 경상도 사투리부터 해볼 계획. 데이터셋 만드는 중

• 서희: Whisper 모델 돌렸는데 변환 결과가 정확하지 않아서 계속 해봐야 할 듯 하다.

  

  

  위스퍼 학습 과정 중 loss가 nan으로 표시되는 오류 발생..

  학습률을 낮춰 1e-6로 설정했더니 조금 더 가다가 60정도부터 nan 발생…

  • code

  충청/경상 사투리 위주로 돌리려 했는데, 충청 데이터가 넘 많아서 먼저 경상 데이터(180)위주로 돌리는 중(10 epochs)

→ 형미 생각: 뭔가 데이터의 전처리가 필요할 수도 있을 것 같다는 생각이 든다..! (우선 여러번 파인튜닝 해보고 보완 필요할 듯)

1. 다음 회의까지의 계획 수립

• 형미: Llama 모델 돌릴 데이터셋 생성 완료 및 모델에 코드 구축해서 돌려보기