<aside>

📌 AI를 활용한 데이터 분석 세션

</aside>

LLM의 단점

• API를 사용할 때
  • 비용이 나간다
  • 실시간으로 운영해야 하는데 API 제공하는 회사의 서버가 끊기면 비상임
  • 보안 문제
• 로컬에서 사용할 때
  • 무거움 → 트래픽 감당해야 함

실습

SDK (Software Development Kit): 개발에 필요한 모든 도구(개발 도구, 라이브러리, 문서 등) 모아 둔 세트

매개변수

• 답변 후보군의 개수 조정 (클 수록 창의적인 답변 → 품질 떨어질 가능성 존재)
  • temperature: 창의성 (0.0 ~ 2.0) → 확률
  • top_p: 다양성 (0.0 ~ 1.0) → 임계값
• top_k: 토큰 후보 수