이 페이지에 대하여

📘 이 페이지는 Python 크롤링을 위한 내용입니다. 8강 본문의 실습은 Next.js(cheerio) 기준으로 진행됩니다. Python은 개념 이해와 로컬 실험에는 훌륭하지만, Vercel 배포 환경에서는 Node.js만 실행되므로 직접 사용할 수 없습니다. 다만 아래 두 경우에는 Python이 유용합니다:

개념 학습 — requests/BeautifulSoup은 크롤링의 원리를 이해하는 데 직관적입니다.
대량 수집 배치 — 9강에서 다루는 GitHub Actions 자동화에서 Python 스크립트를 쓸 때.

왜 Python 크롤링은 Next.js 배포와 충돌하나?

핵심 구조 차이

구분	Python 크롤링	Next.js (Vercel)
실행 환경	Python 런타임 필요	Node.js 런타임
배포 방식	서버에 Python 설치 필요	Vercel 서버리스 함수 (Node.js만)
사용 라이브러리	`requests`, `BeautifulSoup`	`fetch`, `cheerio`
실행 위치	별도 서버 또는 로컬	Vercel Edge/Serverless Function

💡 Vercel에 Next.js를 배포하면, 서버 코드는 Node.js 환경의 서버리스 함수로 실행됩니다.

Python을 실행할 수 없고, requests나 BeautifulSoup을 설치할 수도 없습니다.

현실적인 선택지 3가지

① Next.js API Route에서 fetch + cheerio로 대체 ← 이번 8강 실습 방식

Node.js용 HTML 파서인 cheerio가 BeautifulSoup과 거의 동일한 문법
Vercel에 그대로 배포 가능

② Python 크롤러를 별도 서버로 분리

Python FastAPI 또는 Flask로 별도 크롤링 서버 운영
Next.js에서 그 서버의 API를 호출하는 구조
관리 포인트가 2개가 되어 복잡도 증가

③ GitHub Actions / Cron Job으로 사전 수집

Python 스크립트를 별도 자동화로 실행해 Supabase에 저장
Next.js는 Supabase에서 읽기만 함
9강 예고 내용과 연결됨