희석님

재우님이 바꾸신 코드에서 LSTM, BERT 증강 적용

LSTM: 증강X이 더 높음

BERT: auc↑, acc↓

stride 적용해서 증강 해보려고 한다

희석님 train data answerCode 마지막 -1넣어서

재우님

continuous 임베딩

텐서플로우 코드 → 파이토치로 바꿔보려한다

유진님, 애나님

LastQuery 코드 짜려했는데 주셨음

LastQuery 슬라이딩 윈도우로 데이터 증강해보자

→ 우리꺼 데이터로더랑 코드가 달라서 어떻게할지 생각중

모델링도 다양하게 해보면 좋을 것 같다.

Ray, HyperOpt 사용하면 효율적으로 실험할 수 있지않을까?

validation set도 어느정도 잘맞으면 좋을거같다.

LSTM hidden_dim 올려주면 성능향상

validation set 성능은 0.77까지 나왔다 / train 0.8 ~ 0.9 (?

성능향상이 있긴했다 → 0.746 (제출: 2048)

→ 여기에도 데이터 증강한거 사용해보자

Q. LSTM hidden_dim 제한없나요?

→ 돌리다가 터지지않는 선까지는 괜찮을거같습니다

max_seq 20씩 자른거를 데이터 증강했는데 lstm에서 효과가 없었으면 슬라이딩 윈도우로 했을 때 그렇게 성능의 향상이 있을까가 궁금하다