어떻게 하면 수많은 문서 중 내가 원하는 문서를 정확하게 가져올 수 있을까?

• 우선 슬픈 사건 발발
  • 사실 이 프로젝트는 9월에 일어나던 것이다
  • 이에 따라 2026 목표가 세워지면서 이 친구의 우선순위가 살짝 뒤로 밀렸음
  • 문제는 이렇게 정리가 들어가면서 오픈된 공개 드라이브를 다 닫아 버리심 (;;)
  • 근데 다시 해 보겠다며 앞으로 가져오기엔 현재 LMS 오픈 준비가 이번 주에 QA가 들어가는 단계라 해당 건을 먼저 강조하기는 어려움…
  • 따라서 해당 문서를 다시 잘라내는 등의 재적재를 시키긴 어려웠다.
  • 이에 따라서 계획했던 임베딩 비교 테스트를 시도할 수 없었다. 다만.

• 나는 노션 페이지 / 문서 페이지 단위의 청킹을 이미 해 뒀다.

  • 확인해 보니 보통 500-700자의 텍스트를 담은 청크로 파싱이 되어 있었다.
  • 그런데 이만큼 담긴 텍스트 글자수는 적은 편이라고 한다. (몰랐음)
  • 정확히는 절대적 데이터 텍스트 개수라기보다 실제 정보값을 지닌 데이터가 그 청크 안에 얼마나 핵심적으로 존재하는지에 대한 기준이겠지만.

• 어쨌든, 주요하지 않은 데이터가 많은 청크는 벡터 검색에서 노이즈를 일으킬 수 있다.

• 따라서 주요한 정보를 가진 청크를 만들고 → 가중치를 줘서, 인덱싱을 하기로 했다.