Intro

<aside> 🔥

양자화된 모델을 쉽게 올릴 수 있는 오픈소스 프로젝트인 MLC에 대해서 알아보고 모델을 동작시켜 봅니다. (2025년 6월 26일)

</aside>

macOS 등에서 local LLM을 올리고 싶다면 다음 2가지를 고려해야 합니다.

작은 사이즈의 LLM or 양자화된 LLM
LLM을 돌릴 서빙 파이프라인

이 두가지를 동시에 제공해주는 오픈소스 프로젝트인 https://github.com/mlc-ai/mlc-llm에 대해 알아보고 모델을 올리는 방법을 적용해봅시다.

Body

1. git lfs를 설치합니다.
1. 모델을 다운로드 합니다.
1. 필요한 패키지를 다운로드합니다.
1. 테스트용 스크립트를 실행합니다.

Conclusion

mlc-llm은 기존의 vllm 처럼 KV cache도 적용하는 것을 보아 어느정도 빠른 추론을 위한 다양한 기법들이 적용된 것으로 보입니다! vllm 대비 차별점이라 함은 1. 양자화된 모델을 제공하는 것과 2. macOS에서도 동작하는 엔진을 제공하는 것으로 보입니다!

그래서 MLC를 사용해보는 것도 나쁘지 않은 선택으로 보이네요!

⬅️ 이전 페이지

.mlpackage가 안올라가는 이슈

➡️ 다음 페이지

Reference

https://huggingface.co/mlc-ai/models?p=0

<aside>

Topics

</aside>