Intro

<aside> 🔥

실제 모델 추론을 할때 드는 메모리를 측정하는 방법을 알아봅니다.

</aside>

Body

• 1. Only 모델 메모리 측정법
• 2. 그 외 input data 등 메모리 측정법

Conclusion

메모리를 잘 설정하지 않으면 서비스 단계에서 OOM(Out of Memory)로 인해서 서비스가 중단되게 됩니다. 어느정도 넉넉하게 설정하시되 자원의 효율성을 위해 줄타기를 잘 하는 것이 중요하다고 생각합니다.

⬅️ 이전 페이지

컴퓨터의 소수점 표현

➡️ 다음 페이지

성능과 추론 time

Reference

<aside>

Topics

왜 Chat-gpt는 재현이 안될까?

Gemini API 사용법

허깅페이스 잘 사용하기

컴퓨터의 소수점 표현

모델 추론 메모리 측정하기

성능과 추론 time

GPU 효율적인 학습

프롬프트 엔지니어링

AI 스쿼드 팀 만들기

</aside>