Intro

<aside> 🔥

언어 모델(Language Model; LM)을 iOS on-device(swift)에 올리는 방법을 알아봅니다. (2025년 7월 22일)

</aside>

https://huggingface.co/models 에 올려둔 수많은 언어 모델을 사용할 수 있습니다.

  1. 대부분의 언어 모델들은 .safetensors 확장자를 사용합니다.
  2. 하지만, CoreML에서 사용하는 모델들은 .mlpackage 확장자를 사용합니다.
  3. 즉, .safetensors로 저장된 모델들을 .mlpackage로 컨버팅하는 과정이 필요합니다. (이 과정은 ios 개발자가 아닌 python 개발자가 주로 필요합니다.)
  4. 컨버팅 후 CoreML을 이용해서 swift에서 모델을 초기화할 수 있습니다. 주의해야 할 점은 tokenizer는 지원은 하고 있지 않기 때문에 https://github.com/huggingface/swift-transformers을 사용해주셔야 합니다.

그러면 .mlpackage로 컨버팅하고 모델을 올려보는 방법을 알아봅시다!

Body

Conclusion

언어 모델을 로컬 모델에 올려보았습니다!


⬅️ 이전 페이지

swift type

➡️ 다음 페이지

Swift의 토크나이저

Reference

<aside>

Topics

swiftly 설치하기

VSCode에서 swift 개발하기

swift type

언어 모델을 swift에 올리는 방법

Swift의 토크나이저

.mlpackage가 안올라가는 이슈

MLC로 macOS에 LLM 실행하기

</aside>