1. 보고서 개요

LLM 기반 맛집 추천 파이프라인의 성능을 정량적으로 검증한 결과를 정리한 문서다.

2. 테스트 목적

• 라우팅(embedding vs fixed)이 의도대로 동작하는지 확인
• 슬롯 추출(payload)이 질의 의도(카테고리/태그/메뉴 등)를 정확히 반영하는지 검증
• 검색 결과가 골드셋의 목표 식당(target restaurant)을 실제로 포함하는지 측정
• 답변 텍스트가 필수 키워드 조건을 만족하는지 확인
• 최소 검색 결과 수(retrieval count) 조건을 만족하는지 확인

3. 테스트 범위 및 대상

• 대상 코드/자산
  • src_test, src_test2, src_test3
  • 각 폴더의 build_llm_goldset.py, evaluate_llm.py, llm_eval_report.json
• 데이터 기준
  • database/sql/restaurant.db
• 평가 케이스 구성
  • 총 50개 케이스
  • fixed 20개 + embedding 30개

4. 테스트 절차

1. 골드셋 생성

• python src_test\\\\build_llm_goldset.py
• python src_test2\\\\build_llm_goldset.py
• python src_test3\\\\build_llm_goldset.py

1. 평가 실행

• python src_test\\\\evaluate_llm.py