1. 프로젝트 개요

• 운영 환경

  Python 3.12 이상, CUDA 12.6 이상

  requirements.txt

• 프로그램 구조

2. 시스템 아키텍쳐

1. 시스템 구성도

1. 각 구성 요소 설명

   • 사용자 인터페이스 (UI)

     개발 환경: Unity 2021.3.11f1

     text, 이미지(.png), 음성(.wav) 정보를 chatbot server와 통신

   • 백엔드 서버

     사용 프레임워크: FastAPI

     역할: 사용자 입력(텍스트, 음성)에 맞춰 적절한 처리 후 LLM 호출, 대화 내역 clear 기능

     엔드포인트: /chat, /clear, /stt, /tts

   • 사용 LLM 모델

     Vector DB embedding: BAAI/bge-m3

     chatbot LLM: Bllossom/llama-3.2-Korean-Bllossom-AICA-5B

     SQL 생성 전용 Model: defog/llama-3-sqlcoder-8b (현재 미사용 중)

   • DB

     사용 DB: MySQL

     역할: 정형 Data 확인 및 실시간 Data 기록

3. Local LLM chatbot

1. 전체 개요

이 챗봇은 디지털 트윈 기반 공장 시스템에서 활용 가능한 자연어 질의 대응 시스템입니다. 로컬 LLM(Bllossom LLaMA 모델)을 사용하여 아래 기능을 제공합니다:

• 일반 대화 처리 (LLM 기반 자연어 대화)
• SQL 질의 생성 및 응답 (DB 조회)
• Function Calling 기반 시각화 (차트 생성 등)
• 문서 검색 기반 RAG 응답