Intro

<aside> 🔥

swift에서 어떤 토크나이저를 사용하는지 확인합니다.

</aside>

LM 모델 중에서 매우 중요한 토크나이저가 CoreML에서는 어떤 방식으로 사용하고 있는지 알아봅니다.

Body

• 1. 공식문서
• 2. swift에서 언어 모델의 토크나이저를 사용하려면 어떻게 할까?
• 3. tokenizer 추가 방법
• 4. https://github.com/huggingface/swift-transformers 패키지를 추가합니다.
• 5. tokenizer 클래스를 만듭니다.

Conclusion

애플은 그냥 AI에 대해서 관심이 없는거 같습니다. 허깅페이스가 나서서 오픈소스로 코드도 만들어주는거 보면 답이 없네요..

⬅️ 이전 페이지

언어 모델을 swift에 올리는 방법

➡️ 다음 페이지

.mlpackage가 안올라가는 이슈

Reference

<aside>

Topics

swiftly 설치하기

VSCode에서 swift 개발하기

swift type

언어 모델을 swift에 올리는 방법

Swift의 토크나이저

.mlpackage가 안올라가는 이슈

MLC로 macOS에 LLM 실행하기

</aside>