주제

• 현재 시퀀스형 데이터 처리를 위한 사실상 표준 모델인 Transformer에 대한 학습

목적

• Transformer와 관련된 주요 논문을 읽고 이해한다.
• 해당 논문의 내용을 코드레벨로 작성한다.

교재

• NLP와 관련된 다양한 어플리케이션을 작성한다.

Transformers for Natural Language Processing: Build innovative deep neural network architectures for NLP with Python, PyTorch, TensorFlow, BERT, RoBERTa, and more (Denis Rothman, 2021)

Transformers for Natural Language Processing: Build innovative deep neural network architectures for NLP with Python, PyTorch, TensorFlow, BERT, RoBERTa, and more

Code repository

TeamLab/study-group-repo

사전지식

• python
• Word embedding
• RNN, LSTM, GRU
• Seq2seq, Attention
• 딥러닝 기초 공부를 막끝낸 석사 신입 대상

참여자

@Eunbin Park @정규헌 @Minsung Kim @hyeonju Lee 진현두 (Hyundoo Jin) @Sion Jang @장준원 @이재영 @조하현 @윤호근 @엄태훈 @이민규 @차지이

기본방향