🕒 제출 주기: 매일 과정 종료 후
오늘 당신이 맡았던 역할은 무엇이었고, 어떤 작업을 수행했나요?
(예: 모델 학습 파라미터 조정, 결측치 처리, 발표자료 구성 등)
✍️ 답변:
1. generation 코드 수정
- 기존 체인 구성 방식을 run() 기반에서 LangChain의 invoke() 방식으로 리팩토링하여 가독성과 유지보수성을 높임
- re-rank 옵션을 조건적으로 적용 가능하도록 수정하여 실험 유연성 확보
2. generation 평가 방식
- GPT-4o를 평가자로 활용하여 RAG 시스템의 응답 품질을 정성적으로 자동 평가하는 프레임워크 설계
- 질문, 검색된 컨텍스트, 생성된 답변, 참조 정답을 기반으로 다음 4가지 항목에 대해 1~5점 척도 평가 프롬프트 작성
- 응답 정확성 (Answer Correctness)
- 컨텍스트 관련성 (Context Relevance)
- 컨텍스트 충실성 (Context Factuality)
- 응답 충분성 (Answer Sufficiency)
진척 상황을 정량적으로 표시하고, 간단한 근거도 작성하세요.