✍️ 답변:
1 메타데이터 경로 수정
기존 data/data_list.csv 경로 문제 확인
서버 데이터(/srv/shared_data/datasets/data_list_cleaned.csv)를 로컬로 복사
코드 전체에서 metadata 경로를 로컬 기준으로 수정
2 문서 경로 수정 및 인덱싱 재실행
documents_dir 경로 오류 확인
/srv/shared_data/pdf로 수정 후 인덱싱 재실행
3 DocumentLoader 인자 오류 해결
csv_text_columns, csv_row_per_doc 인자 불일치 문제 발생
index_documents.py에서 해당 인자 제거 (A안 적용)
4 벡터스토어 생성 및 검증
문서 100개 로딩 성공
총 6827개 청크 생성 확인
벡터스토어 정상 생성 완료
5 Retrieval 실패 원인 분석
VectorStore 내부 _collection 미생성 상태 확인
initialize_vectorstore() 미호출 문제 확인
컬렉션 이름 mismatch 문제 발견
6 컬렉션 mismatch 문제 해결
인덱싱 컬렉션: rfp_chunk1200
평가 컬렉션: rfp_documents
run_evaluation.py에서 initialize_vectorstore("rfp_chunk1200") 적용
동일 컬렉션 사용하도록 수정
7 Retrieval 정상 동작 확인
avg_num_retrieved > 0 확인
avg_hit@k 약 0.88
avg_ndcg 약 0.86
grounded_token_ratio > 0 확인
→ RAG 정상 동작 상태 확인
8 평가셋 구조 분석
dataset.py: 6문항 (테스트용)
single_dataset.py: 100문항 (실제 평가용)
multi_dataset.py: 50문항
9 100문항 평가 적용 준비
run_evaluation.py에서 평가셋 import 경로 수정
기존: src.evaluator
변경: src.evaluation.single_dataset
RAGEvaluator import 분리 및 중복 import 정리
100문항 평가 실행 준비 완료
📌 간단한 근거:
맡은 업무를 완료했으나 태호님의 코드 git pull이후 병합 작업을 이어갈 예정입니다.
✍️ 답변: