프로젝트 정의

• 자기회귀 방식의 이미지 생성 모델 (DALL-E 또는 VQ-VAE + Transformer)은 이미지를 픽셀 혹은 패치 단위로 순차적으로 생성해야 되기 때문에 샘플링 속도가 매우 느린 단점이 존재합니다.
• 이를 개선하기 위해, 언어 모델에서 많이 사용된 pruning, distilation, autoregressive model 샘플링 가속 기법 등을 적용하여 DALL-E 등의 자기회귀 방식의 이미지 생성 모델 인퍼런스 효율화를 수행합니다.

프로젝트 목표

• 자기회귀 방식의 이미지 생성 모델 (DALL-E, VQ-VAE + Transformer) 경량화 및 인퍼런스 효율화
• 모델 경량화를 통해 샘플링 속도 향상 확인

지원자격 및 우대사항

지원자격

• Tensorflow / Pytorch 중 하나 이상에 익숙하신 분
• Pruning / Distiliation / 인퍼런스 가속화 관련 연구에 흥미가 있는 분

우대사항

• ML 관련 주요학회에 논문을 1편 이상 출판하신 분
• Pruning / Distiliation / 인퍼런스 가속화 관련 연구 경험이 있는 분
• Distributed Learning Framework 사용 및 개발 경험이 있는 분
• Open Source 프로젝트에 기여한 경험이 있는 분

지원하기

✋ 지원서 작성하기