Intro

<aside> 🔥

Chat-GPT를 이용해서 웹사이트에서 데이터를 파싱하는 크롤링 봇을 만드는 법을 알아봅니다.

</aside>

AI 모델을 학습하기 위해서는 학습 데이터가 필수입니다. 그래서 데이터를 웹사이트에서 수집하는 작업을 크롤링(Crawling)이라고 하는데 이 크롤링 작업을 많이 하게 됩니다.

1년 전(2025년 5월 26일 기준)만 하더라도 웹사이트에서 Common Crawl을 해서 데이터 학습을 진행했지만, 이제는 사실상 웹사이트의 데이터는 거의 다 소진된 것으로 보입니다.

하지만, Fine-tuning 단계에서 좀더 성능을 끌어올리고 싶다면 여전히 크롤링은 선택이 아닌 필수입니다. 그럼에도, 이러한 데이터 수집 작업은 노가다의 영역으로 치부되기 때문에 필수이긴 하지만 하기 싫은 작업이기도 합니다. 실제로 나는 인턴때 데이터를 수집하는 역할을 맡았고 실무를 할 때 큰 도움이 되긴 했지만, 크롤링을 한다고 하면 꽤나 공수가 들어가는 작업입니다… ㅜㅜㅜ

그래서 GPT를 이용해서 크롤링 봇을 빠르게 제작해보는 과정을 진행해보겠습니다!