논문 : https://arxiv.org/pdf/2210.17323

Frantar, E., Ashkboos, S., Hoefler, T., & Alistarh, D. (2022). Gptq: Accurate post-training quantization for generative pre-trained transformers. arXiv preprint arXiv:2210.17323.

번역

배경

• LLM은 뛰어난 언어 모델링 능력을 갖추고 있지만 추론 시 과도한 비용이 들어감
• e.g) GPT3-175B 는 16bit일때 326GB 메모리가 필요함
• 비용 문제 해결하기 위해 Compression 기법 중 Quantization 연구가 활발히 진행중

Quantization 연구의 한계

• 크게 학습 중 양자화(QAT), 학습 후 양자화(PTQ) 로 나누어짐.
• 수십억 개의 파라미터를 갖는 모델을 양자화하면서 학습(QAT)하기에는 너무 비쌈.
• 3,4bit 로의 PTQ 양자화는 양자화 오류를 해결하는 것이 복잡해져 매우 어려움.
• 모델 규모가 커질수록 PTQ에서 복잡한 양자화 기법이 필요하고, 이는 연산량과 메모리 사용량이 증가한다는 의미

GPTQ 제안

PTQ 방법론 3, 4 비트로 양자화하여도 손실 거의 없음 (low bit Quantization 성능) 2 비트에서도 안정적인 성능을 보임 (lower bit Quantization 성능) 수백억개의 초대규모 모델도 4시간 내에 PPL 증가 없이 양자화 가능 (학습 효율성)