# 임베딩 모델 비교 테스트 보고서

• 프로젝트명:* 기업 내부 정보보호 AI 어시스턴트 RAG 모듈 임베딩 비교 테스트
• 작성일:* 2025-12-05
• 작성자:* 모인지

## 1. 테스트 목적 및 범위

본 테스트는 사내 규정/교육 도메인 RAG 시스템에서 사용할 최종 임베딩 모델 선정을 위해 수행되었다. 사규, 복무, 개인정보보호, 성희롱예방, 직장 내 괴롭힘, 장애인식개선, 직무교육 등 7개 도메인에 걸쳐 6개 후보 임베딩 모델의 검색 품질을 비교 평가하였다.

• 본 보고서는 임베딩 모델에 따른 검색(Retrieval) 품질 비교에 초점을 두었으며, LLM 생성 답변 품질(AnswerRelevancy, Faithfulness 등)은 후속 RAGAS 기반 평가에서 별도로 다룰 예정이다.*

## 2. 테스트 환경 및 공통 조건

| 항목 | 설정값 |

|------|--------|

| LLM 모델 | Qwen2-7B-Instruct (vLLM 서버, 포트 1234) |

| 전처리/청킹 방식 | 문자 기준, chunk size 500, overlap 50 |

| Vector DB / 인덱스 | 코사인 유사도 기반 직접 계산 (NumPy) |

| 문서 형식 | TXT (3개), PDF (19개) |

| 총 청크 수 | 2,895개 |

| 임베딩 서버 | vLLM (58.127.241.84:1234), OpenAI 호환 API |

## 3. 평가 데이터셋(Q세트) 설명