✍️ 답변:
ㆍ휴리스틱 기반 RAG 평가 점검 작업 수행
ㆍq67 ~ q72까지 메인 질문 및 팔로우업 질문 포함 전체 검증 완료
ㆍcheck_retrieved_docs_for_eval.py를 활용하여 retrieval 결과 기반 분석 수행
ㆍ문제별 수행 프로세스 정리 및 적용:
1.Retrieved Doc filename 정리
2.단일 문서 → 다운로드 후 문서 기반 분석
3.혼합 retrieval → 바로 분석 진행
4.휴리스틱 점검 (관련성, 정확성, 완전성, 환각, 한국어품질)
5.오류사항 분류 (Retrieval 실패 / 혼합 오류 / 모델 판단 오류)
6.채점표 및 비고 작성
ㆍ평가 기준 정리 및 적용:
ㆍ정답 문서 없음 → 1,1,1
ㆍ정답 문서 있음 + 혼합 오류 → 3,2,2 (정답 문서 명시)
ㆍ단일 문서 → 문서 확인 후 판단
ㆍ팀원 작업 효율화를 위한 도구 제작:
ㆍeval.py 파일 작성 및 공유 (retrieval 확인 및 검증 보조)
ㆍ휴리스틱 점검용 엑셀 파일 제작 (점수 및 비고 관리용)
📌 간단한 근거:
q72까지 검증 완료.
✍️ 답변: