네이버 뉴스 API 기반 기사 수집 파이프라인 구현

Context

• Struggle은 하나의 이슈에 대해 여러 언론사의 기사·사설을 함께 보여주는 서비스
• 이를 위해 ****뉴스 소스를 수집하는 과정이 필요함
• 초기 단계에서는 빠른 테스트를 위해 JSON 기반 렌더링을 목표로 함
• MVP → 확장 단계 전환을 기조로 개발

Problem

• 데이터 수집 → 저장 → 화면 표시까지 end-to-end 흐름을 만들 필요있음
• 수집된 데이터를 어떻게 노출시킬것인지 고민 필요

Implementation

• https://developers.naver.com/docs/serviceapi/search/news/news.md
• 네이버 API를 활용하여 기사 수집 파이프라인 구축
• 기사 정보를 다음 필드를 가지는 JSON 형식으로 로컬경로(data/newsData.json)에 저장
  • issue, title, description, source_url 등
• 프론트엔드에서 해당 JSON 파일을 직접 렌더링

Result

• “뉴스 수집 → JSON 저장 → 화면 표시” 흐름 완성
• 데이터 구조가 UI 요구사항과 맞는지 빠르게 검증 가능

Follow-up

• JSON 저장 방식을 MongoDB 기반 구조로 이전 예정
  • MongoDB 사용이유
    • MVP 개발단계에서 자주 변동되는 스키마에 대처가능
    • 전형적인 관계형 DB에 비해 하나의 이슈에 대해 다양한 정보(필드)를 가지도록 하기 쉬움
    • 중복 방지 + 점진적 누적 저장 등 사용 가능 (upsert 등)
    • 특정 용량까지 무료로 사용가능
• 수집한 기사들을 어떻게 관련된 이슈별로 묶어서 저장할지에 대한 고민 필요