2025-11-18 미팅 회의록

프로젝트: 기업 내부 정보보호 AI 어시스턴트

유형: 외부 코멘트 중심 미팅(차별화·LLM 전략 논의)

핵심 요약: FAQ를 메인 기능으로 격상 시 ‘응답 확인(강제 체크)’ 플로우 필요. RAG+내부 LLM 중심으로 가되, 온프레미스(파인튜닝) 비중 확대 검토. 올라마(OLLAMA) 기반 모델 올려 테스트. 초안 완성 시 CTO 리허설·교정 지원.

1) 결정/가이드(Decisions & Guidance)

• 차별화 관점
  • FAQ 중요도가 높다면 메인 기능으로 가져가고, 응답 확인(강제 체크) 도입.
  • 사내 이슈 리포팅 맥락과 연계 가능(사용자 확인·누적 기반 리포트).
• 모델 전략
  • RAG + 내부 LLM 조합을 기본축으로 설정.
  • 파인튜닝만으로 가기보다, RAG를 우선하고 필요 시 파인튜닝 병행.
• 인프라 전략
  • 온프레미스 비중 확대(파인튜닝·비용·보안 관점) 검토.
  • 올라마 기반 모델을 올려 실측 테스트 진행.
• 발표/검수
  • CTO: 초안 나오면 발표 리허설 및 교정 지원.

2) 논의 메모(Discussion Notes)

• FAQ 메인 전환 시, 사용자 응답 강제화로 실사용도·정책 준수도 향상 기대.
• “내부 LLM으로 충분한가?” → 외부 API 대비 보안/비용/지연시간 트레이드오프 점검.
• 파인튜닝 vs RAG: 동일 데이터셋 기준 RAG가 일반적으로 재현·확장 용이, 파인튜닝은 특정 태스크 정밀도에 이점.
• 온프레미스: 모델·데이터 통제 강화, 다만 리소스/운영 부담 존재.
• 상태: 서버 확보·접속 진행(SSH 연결 완료).

3) 액션 아이템(Action Items)

• 모델·인프라
  • 올라마로 로컬 모델 구동 → 응답 품질/지연/메모리 지표 기록 (담당: 성현, 종윤)
  • RAG 우선 아키텍처 초안 정리(임베딩 파라미터, 리콜/정확도 측정 포함) (담당: 성현)
  • 온프레미스 vs 클라우드 운영 시나리오 비교표(보안/비용/확장/운영) (담당: 대현)