현실세계에서 가장 쉽게 접하는 정형데이터는 대략적인 초평면(Hyperplane)경계를 지니고 있는 매니폴드(Mani fold)를 지니고 있다.

따라서, 트리기반 앙상블 모델의 결정 방식이 데이터 이해에 강점이 많아 이를 딥러닝으로 구현

• 이미지,텍스트와 같은 비정형 데이터를 함께 사용 가능
• FeatureEngineering과 같은 작업이 크게 필요 없으며 end-to-end모델로써 응용모델 활용 가능

Model

Encoder — Decoder 구조

• Feature Transformer

  FC→ BN→ GLU단위의 4개 네트워크 묶음으로 구성

  

  GLU: Gated Linear Unit

  신호의 크기를 조정하는 역할

  LSTM의 Gate와 동일한 역할

• Attentive Transformer

• Shared Block

• Decision Block

  • 의사결정나무와 같이 변수 선택 방법을 딥러닝에 적용하기 위해서 상호독립적인 출력값을 결합하는 구조

  • 해당 과정은 트리 기반 부스팅 모델과 유사하다.

    개별 스텝의 Mask는 local 해석력을 전체 취합시 global 해석 가능

EXPERIMENTS

Multi-Modal Deep LearningModel과 RF,GBDT 기반의 모델 성능 비교

• 트리 기반 의사결정 모델의 CV는 약 50% 이지만 multi modal딥러닝 모델은 70% 이상의 성능을 보임
• 학습 데이터를 모두 사용하며 일반화 성능을 향상시키기 위해 최종 모델은 앙상블 진행

Conclusion

• Tabular data Task에서 GBDT알고리즘이 아닌 딥러닝으로 우수한 성능을 달성
• Multi modal data(category,numeric,text)의 특징을 활용한 모델 구조
• 비정형 데이터를 다루는 논문 내용이 실제 competition에서도 활용이 가능하다는 것을 확인

임베딩된 데이터를 그냥 나눠도 될까?

애초에 Shared Block과 Decision Block으로 나눠지기 때문에, 나누어도 상관없다.