• 해당 도메인에 대한 참고 논문

LSTM 설명

AutoEncoder 설명

LSTM-Autoencoder(LSTM-AE)

이전 정보의 영향이 다음 정보에 영향을 주는 시계열 데이터의 처리에 효과적인 LSTM에 Autoencoder을 추가한 모델

• LSTM + Autoencoder 모델
• 고차원의 시계열 데이터에서 효과적인 이상치 탐지 가능

해당 도메인이 시계열 데이터인 점을 감안해서 제조 설비의 특성 상;누적된 데미지로 인한 노후화로 인해 고장이 발생한다는 것을 고려하여 해당 모델을 사용

성능 : Public 0.7147570364 / 0.7115367161

LSTM-Autoencoder 시각화(일단 Keep)

LSTM-Autoencoder의 한계

1. 여전히 long-term dependencies 문제를 효과적인 처리 X

   → attention을 활용한 transformer 모델로 한계 보완

2. Dataset 구성

   • train data는 정상 데이터로 구성된 unlabeled data
   • train data instance가 매우 적다.(약 7400개)
   • test data는 정상 데이터 및 이상 데이터로 구성된 unlabeled data

   → train data는 이상 데이터가 없는 정상 데이터로만 구성되어 있으니 해당 데이터에 overfitting한 모델링 방향 설정

3. overfitting 및 pre-trained 모델을 만들기 위해선 1) dataset 크기에 비해 parameter가 큰 모델 구축 2) longer training time 3) pre-trained & fine-tuning에 좋은 성능을 보여준 (transformer) 모델 사용

   → TransAD or Anomaly Transformer 모델 사용

   

   Anomaly Transformer과 기존 이상치 탐지 모델들과의 성능 비교 표