👍

Chunk로 Context를 쪼갬 using bert based 뭐시기

핵심은, 각 Chunk마다 Answer가 들어가 있어야함. 이를 고려해서 자름

Answer가 여러 번 언급된 애들도 고려해서 Sliding Window 느낌 살려서 각 chunk는 그냥 잘리는게 아니라 약 50% 정도가 겹치도록 설정.

Max Token은 512로 설정.

• Token Calculation(Prompt + Context + Question + Answer) 코드

이걸로 Token Calculation 들어가니까 Max token 600대 나옴.

• preprocess_chunk.py
• training.py

test.py coming soon.

• sample test.py