Image-based Recommendations on Styles and Substitutes

2015년에 소개된 상품 이미지를 활용한 추천 시스템 논문

background

Model

• 시각적 이미지 특징을 추출하기 위해 CNN을 사용하여 F차원으로 계산

• Shifted Sigmoid 함수로 i상품과 j상품의 유사도 거리 확률 계산

  • Shifted Sigmoid

  다른 특징 공간이 다른 관계에 중요할 가능성이 있다는 점을 고려해 Weighted Nearest Neighbor를 사용

  Weighted Nearest Neighbor

  서로 다른 아이템 간의 관계들 중에서 더 중요한 관계가 있다는 점을 고려해 관계의 중요도에 따라 가중치를 부여하는 방식.

• 관계가 있다면 거리가 가깝고, 관계가 없다면 거리가 멀다.

• 객체 간의 시각적 유사성만 모델링하기 위해 Mahalanobis transform 사용

• 특정한 사용자가 아이템에 대해 어떤 관계를 가지고 있는지 파악하기 위해 Personalized distance function을 정의
• 데이터셋에서 유저가 연결된 엣지가 있는 경우 성립된다는 것을 가정
• 사용자 개인화 문제를 해결하기 위해 rating and review data를 모두 사용

Experiments

데이터를 최상위 범주(옷, 책, 음악 등)로 나누고 추가로 성별(남/여)에 따라 추가로 데이터 셋을 분리

훈련/검증/평가 = 80/10/10

Conclusion

• 대규모 이미지 데이터를 활용하여 인간의 시각적 선택에 대한 개념을 모델링할 수 있다는 것을 보여줌
• 단순히 시각적 유사성 뿐만 아니라 시각적인 관계를 모델링할 수 있음을 나타냄
• 상품 이미지를 보고 외관에 대한 인간의 선호도를 모델링하려는 시도