Copilot

<aside> 💡

챗봇 개발 로드맵 (한눈에 보기)

📚 Level 0: 기초 (1-2주)

• Hugging Face Transformers 사용법
• Pre-trained 모델 실행 (LLaMA, Mistral)
• Tokenizer, Generation parameters 이해

🎯 Level 1: Fine-tuning 입문 (2-4주)

• 작은 데이터셋으로 학습 (KorQuAD 등)
• Trainer API 사용
• Instruction format 이해
• 프로젝트: 도메인 특화 QA 봇

⚡ Level 2: 효율적 학습 (3-4주)

• LoRA/QLoRA 적용
• 4-bit Quantization
• 더 큰 모델 학습 가능 (13B+)
• 실험: rank, target modules 조합

📊 Level 3: 데이터 엔지니어링 (3-4주)

• Chat template 형식
• 데이터 수집 (공개 데이터셋/synthetic/크롤링)
• 품질 필터링 (길이, 반복, 유해성)

📈 Level 4: 평가 시스템 (2-3주)

• Perplexity 계산
• Human evaluation
• GPT-4 as Judge
• Benchmark (KoBEST, KLUE)

🚀 Level 5: 서빙 & 배포 (3-4주)

• Gradio로 빠른 데모
• FastAPI + vLLM로 Production
• 최적화 (KV cache, AWQ quantization)

🔧 Level 6: 고급 기능

• RAG: 지식 베이스 연동
• Function Calling: 외부 도구 사용
• Multi-turn: 대화 히스토리 관리 </aside>

이거대로 코드를 짜면서 어떤식으로 AI 모델이 동작하는지 배워보려고해. 근데 레벨 한단계씩 어떻게 발전하는지, 코드를 고급화하는지, 모델 성능이 증가하는지 눈으로 직접 보면서 하고싶어서 0단계부터 우선적으로 짜주면 좋을 것 같아.