뉴스 크롤링

언론사/카테고리별 뉴스 수집

• 다양한 카테고리 지원: 정치, 경제, 사회, 생활/문화, 세계, IT/과학 등 6개 카테고리
• 신뢰할 수 있는 언론사: 연합뉴스, 동아일보, 중앙일보, 한겨레, 경향신문, MBC, 파이낸셜뉴스, 국민일보, 서울경제, 한국일보, 헤럴드경제, YTN, 문화일보, 오마이뉴스, SBS, KBS
• 자동 크롤링: Selenium WebDriver를 사용한 동적 콘텐츠 크롤링
• 스케줄링: 매일 자정에 자동으로 뉴스 새로고침

// 카테고리별 뉴스 수집
private static final Map<Integer, String> CATEGORIES = Map.of(
    105, "IT/과학",
    100, "정치",
    101, "경제",
    102, "사회",
    103, "생활/문화",
    104, "세계"
);

// 허용된 언론사 필터링
private boolean isAllowedPress(String press) {
    Set<String> allowedPresses = Set.of(
        "연합뉴스", "동아일보", "중앙일보", "한겨레", "경향신문",
        "MBC", "파이낸셜뉴스", "국민일보", "서울경제", "한국일보",
        "헤럴드경제", "YTN", "문화일보", "오마이뉴스", "SBS", "KBS"
    );
    return allowedPresses.stream().anyMatch(p -> p.equalsIgnoreCase(press.trim()));
}

// 카테고리별 크롤링
private List<NewsDetail> crawlCategory(WebDriver driver, WebDriverWait wait,
                                     int categoryId, String categoryName, int targetCount) {
    List<NewsDetail> categoryNews = new ArrayList<>();
    Set<String> collectedLinks = new HashSet<>();

    String categoryUrl = "<https://news.naver.com/section/>" + categoryId;
    driver.get(categoryUrl);

    while (collectedLinks.size() < targetCount) {
        List<WebElement> articles = driver.findElements(
            By.cssSelector("#newsct > div.section_latest > div > div.section_latest_article._CONTENT_LIST._PERSIST_META > div > ul > li")
        );

        for (WebElement article : articles) {
            if (collectedLinks.size() >= targetCount) break;

            NewsDetail detail = extractArticleDetail(article, categoryId, categoryName);
            if (detail != null && !collectedLinks.contains(detail.getLink())) {
                collectedLinks.add(detail.getLink());
                categoryNews.add(detail);
            }
        }

        if (!clickMoreButton(driver, wait)) {
            break;
        }
    }

    return categoryNews;
}

중복 기사 방지

• 링크 기반 중복 검사: 기사 URL을 정규화하여 중복 방지
• 데이터베이스 레벨 검증: 저장 전 existsByLink() 메서드로 중복 확인
• 메모리 레벨 중복 방지: 크롤링 중 Set<String>을 사용한 실시간 중복 체크
• 링크 정규화: URL 파라미터 제거 및 슬래시 정리로 정확한 중복 검사

// 중복 기사 방지 로직
public NewsArticle saveNewsArticle(NewsDetail newsDetail) {
    if (newsDetail.getLink() == null || newsDetail.getLink().trim().isEmpty()) {
        return null;
    }

    // 링크 정규화
    String normalizedLink = normalizeLink(newsDetail.getLink());

    // 데이터베이스에서 중복 확인
    if (newsArticleRepository.existsByLink(normalizedLink)) {
        return null; // 중복 기사는 저장하지 않음
    }

    NewsArticle newsArticle = NewsArticle.builder()
            .categoryId(newsDetail.getCategoryId())
            .categoryName(newsDetail.getCategoryName())
            .press(newsDetail.getPress())
            .title(newsDetail.getTitle())
            .content(newsDetail.getContent())
            .reporter(newsDetail.getReporter())
            .date(newsDetail.getDate())
            .link(normalizedLink)
            .build();

    return newsArticleRepository.save(newsArticle);
}

// 링크 정규화
private String normalizeLink(String link) {
    if (link == null) return "";

    String normalized = link;

    // URL 파라미터 제거
    int paramIndex = link.indexOf('?');
    if (paramIndex > 0) {
        normalized = link.substring(0, paramIndex);
    }

    // 끝의 슬래시 제거
    if (normalized.endsWith("/")) {
        normalized = normalized.substring(0, normalized.length() - 1);
    }

    return normalized.trim();
}

기술적 구현

크롤링 엔진

• Selenium WebDriver: 동적 콘텐츠 크롤링을 위한 브라우저 자동화
• Chrome WebDriver: Chrome 브라우저를 통한 안정적인 크롤링
• WebDriverWait: 요소 로딩 대기로 안정성 향상
• Headless 모드: 서버 환경에서의 크롤링 최적화

데이터 관리