Embedding Layer
Local Activation Layer
Local Activation Unit
후보군이 되는 광고를 기존에 본 광고들과의 연관성을 계산하여 가중치로 표현한다.
예측 아이템과 소비했던 아이템들을 연결하여 Activation Unit에 Input으로 넣어준다.
이를 통해 최종적으로 각 임베딩이 하나의 Linear한 스칼라값으로 출력된다.
이 값이 Activation Weight가 된다.
후보 광고에 따라 과거 User Behavior에서 소비했던 광고들의 weight 크기가 달라진다.
Weight가 높으면 연관성이 높다는 의미로, 과거의 행동정보를 더 많이 반영한다.
즉, Transformer의 Attention과 비슷하게 동작한다.
타겟 아이템과 연관도가 높은 아이템에 더 많은 가중치를 준다.
Weighted Sum Pooling
여러 개의 표현 벡터를 가중 합한 값을 출력으로 사용한다.
Fully-connected Layer
이외의 Embedding들은 바로 최종 Layer로 이동한다.
이후, 모두 Concat을 진행한 후, MLP를 통과시켜 결과를 예측한다.
