[Level2-recsys-dkt] Wrap-up Report

멘토님 피드백

DKT 깃허브 리드미

느낀점

• valid set 구축을 잘 해보자 (sub_lb의 개념을 활용하자)

  sub_lb : 리더보드를 대신하여 우리끼리 inference할 데이터셋을 만들고, train,valid set에 포함시키지 않아 pure한 data set을 만들어 놓자

• 너무 막히면 이전 기수를 참고해보자

이슈

1. ~~dkt lightgcn 베이스라인 argument를 기본값으로 실행했을 때, inference가 제대로 되지 않는 문제~~

   • 기존 book predict 모델에서도 10을 넘는 예측 값들이 나왔었음

2. ~~dkt 베이스라인 inference.py 에서 기존 훈련한 모델을 사용하지 않는 문제~~

   ⇒ get_model 대신 load_model 사용

3. LSTMATT inference 문제

4. LGBM auc, metric 파악

5. K-fold stratified

   • 비율을 맞출 때 우리가 고려해야 할 사항들
   1. user의 마지막 sequence의 정답여부 (0,1)의 비율을 이용해서 나눈다.
   2. user의 sequence 길이를 고려해서 나눈다. (긴 애, 짧은 애)
   3. stratified 하지 않고 그냥 shuffle?

6. cv, lb 방향성 찾기 위해 제출 방식 다양성 확인

7. catboost wandb에 적용 https://www.kaggle.com/code/kartushovdanil/baseline-amex-catboost-blending-wandb

8. K-fold와 wandb sweep 문제? (정확한 원인 불명)

   https://github.com/wandb/examples/tree/master/examples/wandb-sweeps/sweeps-cross-validation

2022 / 11/ 29

• test 뒷 문제를 valid 로 두는게 과연 그거한가?

2022/12/2 (금) - cv alignment 개선 시키기

• 관찰한 점