네이버 뉴스 API 기반 기사 수집 파이프라인 구현
Context
- Struggle은 하나의 이슈에 대해 여러 언론사의 기사·사설을 함께 보여주는 서비스
- 이를 위해 ****뉴스 소스를 수집하는 과정이 필요함
- 초기 단계에서는 빠른 테스트를 위해 JSON 기반 렌더링을 목표로 함
- MVP → 확장 단계 전환을 기조로 개발
Problem
- 데이터 수집 → 저장 → 화면 표시까지 end-to-end 흐름을 만들 필요있음
- 수집된 데이터를 어떻게 노출시킬것인지 고민 필요
Implementation
Result
- “뉴스 수집 → JSON 저장 → 화면 표시” 흐름 완성
- 데이터 구조가 UI 요구사항과 맞는지 빠르게 검증 가능
Follow-up
- JSON 저장 방식을 MongoDB 기반 구조로 이전 예정
- MongoDB 사용이유
- MVP 개발단계에서 자주 변동되는 스키마에 대처가능
- 전형적인 관계형 DB에 비해 하나의 이슈에 대해 다양한 정보(필드)를 가지도록 하기 쉬움
- 중복 방지 + 점진적 누적 저장 등 사용 가능 (upsert 등)
- 특정 용량까지 무료로 사용가능
- 수집한 기사들을 어떻게 관련된 이슈별로 묶어서 저장할지에 대한 고민 필요