[AWQ: ACTIVATION-AWARE WEIGHT QUANTIZATION FOR ON-DEVICE LLM COMPRESSION AND ACCELERATION](AWQ: ACTIVATION-AWARE WEIGHT QUANTIZATION FOR ON-DEVICE LLM COMPRESSION AND ACCELERATION)

Lin, J., Tang, J., Tang, H., Yang, S., Chen, W. M., Wang, W. C., ... & Han, S. (2024). Awq: Activation-aware weight quantization for on-device llm compression and acceleration. Proceedings of Machine Learning and Systems, 6, 87-100.

번역

결론

• 초록

<aside> 💡

문제: 대형 언어 모델(LLM)은 성능은 뛰어나지만, 크기가 너무 커서 엣지 디바이스에 탑재하기 어렵다.

제안: AWQ (Activation-aware Weight Quantization) 라는 저비트 weight-only 양자화 방법을 제안.

핵심 아이디어:

• 모든 가중치가 중요한 것은 아니다.
• 상위 1% 중요한 가중치만 보호하면 양자화 손실을 크게 줄일 수 있다.
• 활성화 분포 기반으로 중요한 채널을 선정하고, 스케일링을 통해 보호한다.

장점:

• 역전파나 재구성 없이 동작

• 다양한 도메인/모달리티에 일반화

• instruction-tuned 및 멀티모달 LLM에도 적용 가능

• 추론 엔진: 함께 제안된 TinyChat은 데스크탑·모바일 GPU에서 3배 이상 속도 향상을 실현하고, LLaMA-2 70B 모델도 모바일에 배포 가능하게 함. </aside>

• 결론

<aside> 💡

• AWQ는 간단하지만 강력한 저비트 양자화 기법으로, 중요한 가중치에만 채널별 스케일링을 적용해 성능을 유지.
• 과적합 없이 동작하며, 다양한 도메인·모델·모달리티에서도 일반화 성능 우수.
• TinyChat은 AWQ의 메모리 절감 효과를 3.2~3.3배 속도 향상으로 전환하며, 온디바이스 LLM 배포를 현실화시킴. </aside>

배경지식

양자화(Quantization): 모델의 파라미터(가중치/활성화)를 float32 또는 float16에서 INT4/INT8과 같은 정수로 변환하여, 모델 크기 감소 및 추론 속도 향상을 꾀하는 기술.