오프라인 만남 날

멘토링

• 웹 프레임워크를 어떻게 해야할까?

  • FastAPI, streamlit : Level3 프로덕트 서빙에서 강의 내용이 계획 되어 있긴 하나, 강의가 열리고 따라가면 늦을 수도 있다.
  • Youtube에서 프론트엔드, 백엔드 간단한 지식을 익히고 강의를 들어보면 좋을 것 같다
  • MLOps github 들어가서 코드 공부도 괜찮
    • https://github.com/zademn/mnist-mlops-learning (FastAPI + MLflow(아직 확실하게 자리잡지는 못함) + streamlit)
  • FastAPI가 딥러닝에서는 많이 뚫려있다고 알고 있어서, MNIST와 같은 데이터셋을 기반으로 작성된 코드를 뼈대로 삼아서 공부하면서 하면 좋지 않을까 싶다.

• 여러가지 추천 메트릭을 어떻게 구하고 표현하는게 좋을까요? (novelty, diversity, ….)

• 여러개의 하이퍼파라미터가 있을 때, 파라미터 조합에 따른 metric의 surface를 보고 싶을 것 같다.

  

  근데 현실적으로 어려울 것 같음 (2차원의 하이퍼 파라미터에서만 설명할 수 있고, 그만큼 다양한 하이퍼 파라미터 조합이 필요하기 때문에)

• 우리 아이디어 설명 드렸더니 오케이 (하이퍼파라미터 조합, 서브미션 파일로 시각화 해주는 것)

  • 썰을 풀 때도 괜찮은 한 가지 스토리

    모델의 경우에는 회사의 기밀일 수도 있기 때문에, 하이퍼파라미터와 예측한 서브미션, 실제 타겟값등만 저희에게 주면, 저희가 그런 조합들에 대한 시각화를 제공해드리겠습니다!

• 현재 우리의 태스크는 추천과는 동떨어져있다 따라서 추천 모델을 추천해보자 (사용 대상이 인공지능을 못하는 회사라면…)

  • 기본적인 추천시스템 모델들(MF, FM, 딥러닝, …)을 베이스라인으로
  • 데이터셋을 input으로 받아서 선정한 베이스라인코드 모델들로 실험을 돌릴 수 있게 해주고(시간은 좀 길겠지만)
  • 하이퍼파라미터 조합과 범위를 설정해서 metric이 어떻게 변하는지와 random하게 뽑은 test set을 가지고 diversity를 계산해보거나, …
  • 이렇게 되면 사용자 선호에 따라서 성능이 최고인 모델 vs robust한 모델 vs diversitiy를 고려한 모델을 선택하면 추천해주는 것도 괜찮을 듯

• 정성적 지표들은 어떻게 측정하는게 좋을까?

  • 정성적 지표들을 값으로 표현하면 정량적 평가가 되기 때문에, 의미가 퇴색되는 느낌

  • 시각화와 같은 방법을 사용하는것이 어떨까

    ex) 추천된 결과가 반복되는지 or 아이템들에 대해서 얼마나 추천되었는지 빈도를 시각화 해주거나

    

    아니면 아이템별 확률 벡터들을 누적해서 쌓아준다거나, density를 색으로 표현(alpha 값 or KDE plot)

• 멘토님이 불편했던 것들

  • 논문쓰는 입장에서 불편했던 것들

    분기가 되는 추천모델들이 input을 받는 코드가(dataloader) 다 다른데, 그런것이 통일 되었으면 좋겠다는 생각이 들었다. (구현할 때 피곤함)

    또, 생각한 method가 좋은지 비교하려면 metric이 필요하기 때문에 구현을 해봤는데, metric이 여러 종목이 있으면(recall, ndcg, …) 여러 종목에서 SOTA인 모델이 없고, 특정 metric에서만 SOTA인 모델들이 있어서 추천시스템이 굉장히 애매하다 싶었다.