의제

• [x] 동료 평가 의견 논의
• [x] 진행상황 공유

회의내용

1. 동료 평가 의견 논의

• LLAMA 모델을 써서 텍스트 파일을 왜 한 번 더 거쳐서 파인 튜닝을 하는 건지, 라마 방법 대비 로라 방법이 실질적으로 효과적인지 궁금 → Whisper 모델은 음성을 텍스트로 변환하기 위함이고, Llama 모델은 input이 들어갔을 때 output을 내뱉는 챗봇을 위함임. 즉 둘은 역할 자체가 다르기 때문에 각각 파인튜닝을 해줘야 한다. Llama는 모델이고 LoRA는 파인튜닝 방식이다. 둘은 역할과 그 기능이 다르기 때문에 비교 대상이 아니라고 생각한다.
• 상용화된 모델과 논문 등 다양한 사례를 알아보지 않고 주제를 선정한 것 같아 아쉬움 → 다수의 논문을 살펴보지 않은 것은 맞는 것 같다…. 정곡을 찌르는 피드백이라고 느꼈고, 고민해보던 중 사투리로 대화하는 챗봇 구축은 어떨까 의견이 나와 구현해볼 예정이다.
• Llama가 한국어도 잘 이해할까? → Llama 모델에 한국어를 집중적으로(?) 학습시킨 koLlama 모델을 발견해서 이 모델을 사용해볼 예정이다.
• 시장 분석과 기획에서 인공지능 스피커를 목표로 설정했으나 최종 기획은 웹 서비스인 점 → 직접 스피커에 연동하면 좋을 수도 있으나, 그러기 위해서는 iot 등의 추가적인 학습이 필요. 하지만 이번 프로젝트에서는 whisper, llama, tts 등 학습할 것도 많으며, 팀원도 3명이어서 완성도 있는 작품을 고려, 과목의 목표를 생각한다면, 모델에 집중하는 것이 맞다고 판단. 추후 소웨경 등을 통해 노인 관련 기능들을 추가해 웹으로도 강력한 서비스 구현 목표

1. 진행상황 공유

• 형미, 지인: 지난 번에 찾은 챗봇 데이터는 표준어로 되어있어서 경상도 사투리로 변화가 필요. chatgpt와 gemini를 이용해서 수동으로 변화. 한 번에 인식할 수 있는게 50개 정도인데, 데이터가 10000개 정도 되어서 데이터셋 구축 자체에 시간이 오래걸림.
• 서희: 아직 whisper 파인튜닝 진행중… 계속 시도해보고 있는데 일정 에폭 이상이 되면 loss가 nan이 되는 문제 지속적으로 발생…. 정확도도 높지 않아서 더 시간이 필요할 것 같다. 아래는 우리가 헷갈려해서 서희님이 정리해주신 진행상황…

https://discuss.pytorch.kr/t/training-loss-function-epoch/1862

loss가 어느 순간부터 발산함 → 모델이 갑자기 한국어를 듣고 영어를뱉음;;

epoch를 줄여서 학습시켜보겠다…