Anomaly Transformer 모델을 선정한 후, 이번 공모전에서 제시된 downstream task에 맞게 모델 개선을 진행하였고 성공적으로 해결하였다. 이 과정은 네 가지 주요 단계로 구성되어 있으며, 각 단계에서 큰 성능 향상이 있었음을 확인할 수 있었다.

1. Vanila Anomaly Transformer 적용

• TYPE0 Python script 예시
• main.py 소스코드
• task에 맞게 model의 input, output 채널 수정
• 설비 번호(type)별로 model train & test 진행
• window size 1로 고정함으로써 //연산으로 인한 나머지 제거 현상 방지

⏩성능 : Public - 0.6092 / Total - 0.6038

2. PSM 데이터셋 Pre-trained model 사용

train dataset이 매우 작아 model 성능이 낮게 나온다고 판단하여 pre-trained model을 활용하기로 결정했다. 다양한 dataset 중에 PSM dataset은 여러 서버에서 수집된 성능 메트릭 데이터로 산업용 시스템의 이상 감지, 상태 모니터링, 예측 분석 등과 같은 문제를 해결하는 데 사용된다. 해당 데이터가 task 데이터와 같은 시계열 데이터인 점, task 데이터보다 더 대규모 데이터인 점을 고려하여 Pre-train할 dataset으로 사용했다.

• PSM dataset으로 pre-train한 model을 생성하기 위해 PCA 기법을 사용하여 dataset의 차원을 25에서 8로 축소
• 설비 번호(type)별로 model train & test 진행하였고 anormly_ratio를 5, 7, 10으로 실험해본 결과 7일 때 성능이 가장 좋음
• type 1 의 motor_vibe 이상치를 정상범위로 전처리한 데이터 사용

pre-train & fine-tune 방법을 사용하려면 두 method의 dataset의 # features를 통일해야 한다는 pre-train 방법의 내재된 이론 상 한계가 존재한다. 더불어 PSM dataset으로 사전 훈련된 모델을 실험적으로 진행해봤지만 성능 향상을 보이지 못하였으므로, 실험적&이론적 한계로 인해 PSM dataset를 활용할 수 없다고 판단했다.

⏩성능 : Public - 0.7889 / Total - 0.7849

3. HP(마력) feature 추가 및 전체 데이터셋 학습

설비 번호별로 학습 시 데이터 부족으로 성능이 향상되는 데에 한계가 있어 데이터의 특성 중 하나인 설비 번호별 마력 분류를 이용하고자 했고, 따라서 HP(마력) feature를 추가하여 전체 데이터 셋을 학습했다.