📌 크롤링할 데이터 종류

범위(MVP): 본 문서의 Milestone(크롤링 파이프라인 구축)은 뉴스/차트/콘서트/광고 데이터 적재를 우선 대상으로 합니다.

1️⃣ K-POP 관련 최신 뉴스 및 트렌드

• 출처(MVP): Naver 뉴스, Google 뉴스, Reddit (r/kpop)
• 출처(추후): Twitter Trends 등 소셜 트렌드 소스
• 목적: 팬들이 관심을 가질 만한 최신 K-POP 소식, 컴백 일정, 이슈 등을 제공
• 수집할 데이터:
  • (MVP) 뉴스 제목, 기사 링크, 요약 내용, 출판 날짜
  • (추후) 해시태그 트렌드, 좋아요/리트윗 수 등

2️⃣ 아티스트 및 그룹 정보

• 출처: Melon, Spotify, Last.fm API (우선순위 순)
  • 1순위: Melon (K-POP 국내 정보 최신)
  • 2순위: Spotify API (글로벌 정보, 활동도)
  • 3순위: **Last.fm API** (팬덤 커뮤니티 활동 정보)
• 목적: 팬들이 좋아하는 아티스트 정보를 쉽게 접근하도록 제공
• 수집할 데이터:
  • 아티스트 이름, 데뷔 연도, 소속사, 장르
  • 인기 곡 목록, 앨범 정보, 활동 기간
  • 팬덤 명칭 및 상징색
• 충돌 처리: 여러 출처에서 다른 데이터 수집 시 우선순위 순서대로 병합

3️⃣ 차트 순위 (실시간/주간)

• 출처: Melon, Bugs, Billboard, Oricon
• 목적: 팬들이 관심 있어 할 음악 차트 제공 (실시간/주간)
• 수집할 데이터:
  • 차트 1\~10위 아티스트 및 곡 정보
  • 순위 변동 추세 (스냅샷 기반, crawled_charts_history 활용)

4️⃣ (추후) 팬 커뮤니티 및 소셜 트렌드

• 출처: Theqoo, Instiz, Reddit, Twitter, TikTok
• 목적: 팬 커뮤니티/소셜에서 인기 있는 게시물 및 트렌드 수집 (Phase 2)
• 수집할 데이터:
  • 게시물 제목, 좋아요 수, 댓글 수, 작성 시간
  • 특정 키워드(예: "컴백", "콘서트") 포함 여부