계획

• 각 component의 역할(목적)을 파악하기.
• 가급적이면 예시를 들기.
• 질문이 있으면 여기에 적어놓고, 미팅 때 바닥까지 파고들기.
• 첫 미팅: Tue, 22nd of June 2021 (2h)
• 두번째 미팅: Sun, 27th of June 2021, Mon, 28th of June 2021 (1h 40m)
• 세번째 미팅: Sat, 3rd of July 2021 (11:37 ~)

3. Model Architecture

3.1. Encoder and Decoder Stacks

Figure 1: The Transformer - model architecture

• 베이스라인 transformer의 목적? transformer로 해결하고자 했던 것?

Encoder

• 왜 Batch Norm이 아니라 Layer Norm을 사용했을까? 😐
• Encoder와 BERT 사이의 관계? 😐

Decoder

• Masked-head Attention 목적? 😀