0. 정말로 얻고 싶은 것

• 브랜딩: 검색결과에 우리 이름이 자주 보이게 하기(노출).
• 매출: 광고비를 줄이고(낮은 CAC) 잘 들어온 유입을 전환으로 연결하기(높은 LTV).
• 지속성: 오늘만 잘 되는 게 아니라, 시간이 갈수록 더 강해지는 구조(권위·신뢰).

1. 검색엔진이 우리 페이지를 다루는 흐름

검색엔진 입장에서 페이지는 네 단계로 움직입니다.

1. 발견되지 않음: 우리 사이트가 있는지 아직 모름.
2. 발견됨(Discovered): 링크·사이트맵 등으로 존재는 알게 됨.
3. 크롤링됨(Crawled): 실제로 페이지를 내려받아 확인함.
4. 인덱스됨(Indexed): 검색 결과에 쓸 수 있도록 데이터베이스에 저장.

→ 목표: 최대한 많은 ‘돈 버는 페이지’가 4단계까지 빠르고 안정적으로 도달하도록 만들기.

2. ‘크롤링 버짓’ 이해: 로봇이 하루에 쓰는 시간/자원

• 뜻: 구글봇 같은 로봇이 우리 사이트에 하루 동안 쓸 수 있는 수집 리소스(요청 수·시간).
• 원리: (a) **서버가 감당 가능한 정도(호스트 한계)**와 (b) **우리 사이트에 대한 관심(수요)**이 균형을 이룸.
• 효과적인 관리 포인트(쉬운 말로 정리):
  • 빠르게 보여주면 로봇이 더 자주/더 많이 방문함(=수집량↑).
  • 쓸모없는 페이지를 줄이면 로봇이 중요한 페이지에 시간을 씀.
  • 길을 안내해주면(사이트맵) 찾아가야 할 곳을 놓치지 않음.

2.1 당장 할 수 있는 7가지 체크(개발·운영 공통)

1. 서버 로그를 본다: 구글봇 방문 빈도, 5xx 오류율, 반복 크롤 URL 확인.
2. 대용량 원인 제거: 이미지 너무 큼? 필요 없는 JS가 많음? → 용량 줄이기.