LSTM 모델 설명

• RNN의 한 종류로, 주로 시계열 데이터나 자연어 처리와 같은 순차적인 데이터를 다루는 데에 사용
• 은닉층의 메모리 셀에 입력 게이트, 삭제 게이트, 출력 게이트를 추가하여 불필요한 기억을 지우고, 기억해야할 것들을 정함
  • 입력 게이트 : 현재 정보 기억하기 위한 게이트
  • 삭제 게이트 : 기억을 삭제하기 위한 게이트
  • 출력 게이트 : 현재 시간 단계의 입력과 이전 시간 단계의 은닉 상태를 기반으로 다음 셀로 전달될 정보의 양을 제어
• 장점 : 시퀀스를 다루거나 장기적인 의존성을 가진 데이터를 모델링하는 데 유용
• 단점 : 모델이 복잡해서 모델 학습에 많은 시간이 걸릴 가능성이 있음

Dlinear 모델 설명

1. Transformer vs LTSF-Linear

Question) 트랜스포머 모델은 명확한 추세와 주기성을 지닌 장기 시계열 예측에 정말 효과적인가?

• LSTF 과제에서는 시간 순차성 정보가 예측에 가장 중요한 역할을 함.
• Transformer : Self Attention 기법을 적용하여 시간 순차성에 대한 정보 손실이 발생함. NLP 분야에서는 문장 내 단어의 순서가 어느 정도 바뀌어도 의미 자체가 변하지 않지만 수치 시계열 데이터에서는 큰 문제를 야기할 수 있음.

⇒ 경우에 따라 간단한 선형 모델이 장기 시계열 데이터에서 Transformer 모델보다 뛰어난 성능을 보임.

1. Linear