3, 4강 pdf로 간단 복습

Further Question

Attention 구조 (다음 강의에서 배움)

ResNet 구조와 비슷하게 한참 이전의 cell 정보를 끌어오는 방법?

Batch Normalization: 작은 값을 크게, 큰 값을 작게 만들어주므로 해결 가능

Sequence to Sequence 같은 경우 결국 초반 정보가 소실되는 문제 발생

문장의 맨 앞 단어를 맨 뒤로 보내는 시도도 있었음

Bidirection LSTM: 순방향으로 갔다가 역방향으로 거슬러 올라오는 구조

사실 attention이 짱임

DACON 기반 NLP 딥러닝 기초

목요일부터 다음주 금요일까지

  1. EDA: 내일 금요일 피어세션 전까지
  2. 전처리 (Tokenizing 포함): 금요일 피어세션에서 결정
  3. 모델링, 트레이닝

밑에 DACON 페이지에서 개인 페이지 만들어서 notebook 파일, 요약 업로드

결과물은 피어세션 시간에 공유