• Bert 모델 , 포지셔널 인코딩에 대한 질문

  → 트랜스포머 임베딩 레이어에는 어떤 것을 사용했는지

  → Bert 모델이 어떤 모델인지, 인풋 and 아웃풋

최종 아웃풋으로 나온 벡터 뒤에 dense layer를 쌓아 최종적으로 원하는 답을 얻을 수 있게 만드는 방식으로 활용

• 진명훈님 논문리뷰 관련 이야기

  • 매우 도움이 많이 되는 것 같음

• 데이콘 : 뉴스 토픽 분류 전처리 (tokenization) → 내일까지

• test 데이터로 dictionary를 구성하는 것에 대한 문제

  test 데이터를 dictionary에 포함시킬 시 인덱스에 대한 가중치가 학습되게 됨

  → test 데이터는 가중치 업데이트가 없음 → 학습이 안됨 → test 할 때 문제 발생

  실제 테스트시에는 <UNK> unknown token을 사용한다

• OOV (Out-Of-Vocabulary) 문제 발생 시

  • 서브 워드 분리 방법을 사용할 수 있음
  • Beam search로 <UNK>을 대체하도록 활용할 수 있음

• 추천 시스템 재밌나요?

  • 돈이 됩니다