🕒 제출 주기: 매일 과정 종료 후
오늘 당신이 맡았던 역할은 무엇이었고, 어떤 작업을 수행했나요?
(예: 모델 학습 파라미터 조정, 결측치 처리, 발표자료 구성 등)
✍️ 답변:
1. generation 코드 수정
- retriever 담당자(혜정님)가 추가하신 Re-rank 기능을 run_generation.py에 반영
- 선택적으로 CrossEncoder 기반의 reranking을 적용할 수 있도록 파라미터 추가
2. 프롬프트 수정
- 프롬프트를 총 7가지 카테고리(요약형, 항목 추출형, 정보 확인형, 목적/배경형, 여러 문서, 후속 질문, 미포함 문서)로 구성하고, 각 카테고리에 대해 직접 예시 질문과 답변을 작성
- 사용된 예시는 프로젝트 데이터 외부에서 확보한 나라장터, 교육청 홈페이지 등의 RFP 문서를 기반으로 구성
3. 출처 표시 오류 해결
- wrap_retrieval_results() 함수에서 retrieved_ids와 retrieved_filenames 값을 기반으로 Document.metadata에 source, source_id 정보를 추가하여, 응답 결과에 정확한 출처가 표시되도록 수정
4. generation 결과 저장 파일 생성
- 실험 평가용 스크립트 evaluate_generation.py를 작성하여, 3가지 리트리버(dense, bm25, hybrid) 및 rerank 옵션에 대한 결과를 자동으로 생성 및 저장할 수 있도록 구성
- 각 실험 결과는 JSON 및 CSV 형식으로 저장되며, 전략별 디렉토리로 구분하여 관리
진척 상황을 정량적으로 표시하고, 간단한 근거도 작성하세요.