<aside> 💡

1. 논문 분석 및 핵심 내용 추출
   1. 논문 전처리 : PDF → Text → Chunk(단어 덩어리..)
   2. 임베딩 생성 : Chunk → Vector → Vector database 저장
   3. 쿼리 처리 : 모델 원리 요약 , 수학 공식 과정 설명 → RAG가 Chunk 검색
   4. 요약 및 변환 → RAG
2. Text-To-Image
   1. 프롬프트 입력 : 예) Attention layer, Q, K, V 벡터, 가중치 계산 결과 출력
   2. 이미지 생성 : 계산과정 또는 원리 순서대로 이미지 생성
   3. 후처리 : 크기 조정 및 보정
3. Image-To-Video
   1. 이미지 시퀀스 입력 : 생성된 이미지를 순서대로 배열 후 모델 입력
   2. 보간 및 동영상 생성 : 이미지 사이 이어주는 프레임 생성 → 애니메이션 효과
   3. 최종 비디오 출력 : 사용자 제공 → 만약 추가한다면 자막 추가 </aside>

RAG (GPU 4060 8GB 환경 기반)

Text-to-Image 모델

Image-to-Video 모델

RAG (검색 증강 생성)

Figma 기반 흐름 분석 및 구체화

1️⃣

• 파인튜닝 데이터셋 종류

• 데이터 추출 및 정제

• Fine-tuning

2️⃣

• 모델과 벡터 DB의 역할

• Agent와 LLM의 협업

• 내가 의문인 점?

• 벡터 DB (외부 문서) 데이터셋

• 답변 텍스트 확장 및 순서화

3️⃣

• 답변 텍스트 분석

• 이미지 생성 요청

• MCP (Model Calling Protocol) - T2I 모델 호출

• T2I 모델 및 이미지 생성

전체적인 흐름

정량적 지표

• 정확도 , F1 Score
• BLEU : 생성된 텍스트와 실제 참조 텍스트 간의 n-gram (단어 시퀀스)유사도 측정
• ROUGE → 이건 텍스트 요약에 주로 쓰임