Summary

1. 메모리 소비를 줄이고 BERT의 훈련 속도를 높이기 위한 두 가지 매개변수 감소 기법을 제시
2. self-supervised loss를 사용하여 문장간 일관성을 높이고 downstream task하는데도 도움을 줌

참고링크

1. ALBERT- GITHUB (https://github.com/google-research/ALBERT)
2. ALBERT 논문 (https://arxiv.org/pdf/1909.11942.pdf)
3. KB - ALBERT (https://github.com/KB-Bank-AI/KB-ALBERT-KO?fbclid=IwAR0NvO41jPtYoREaQ0LS_mMQJrbjfaZGxeDzTPtMvLYq8SfetpDjpX3i_p4)

Goal

• BERT의 파라미터를 줄이면서도 Performance도 잘 나오는 ALBERT 모델 구축

Keyword

• BERT , ALBERT , Natural Language Processing

Problem

• 메모리 제한과 Communication Overhead로 인해 모델을 무조건 크게 하는 건 한계가 있음
• BERT is too heavy