term frequency($tf_{t,d}$): 문서 d에서 term t가 발생한 빈도
tf를 query-document가 얼마나 일치하는지 계산하기 위해 쓰고 싶다.
raw tf 값은 활용하기 불편하다.
tf 10인 문서가 tf 1인 문서보다 더 연관도가 높다.
하지만 숫자의 크기가 해당 문서가 10배 더 유의미하다는 의미는 아니다.
문서의 연관성은 tf의 수에 따라 비례적으로 증가하지는 않는다.
게다가, 단어의 빈도가 0개인 문서와 1개인 문서의 차이는 매우 크지만,
100개인 문서와 101개인 문서의 차이는 아주 작다.
따라서 단어의 개수에 따라 달라지는 영향력을 표현하기 위해, 단어의 빈도에 log를 취한다.
$$ w_{t, d}=\left\{\begin{array}{cc}1+\log {10} \mathrm{tf}{t, d}, & \text { if } \mathrm{tf}_{t, d}>0 \\0, & \text { otherwise }\end{array}\right. $$
이 때, 단어가 하나 있는 것과 아예 없는 것의 차이는 훨씬 크기 때문에, 0과 1은 따로 구분한다.
$$ \tt score = ∑_{t∈q∩d}(1+log tf_{t,d}) $$
tf의 variation은 log normalization 뿐만 아니라 다양하게 존재한다.
문서의 점수를 계산하기 위해선, query와 document에서 공통으로 나타나는 단어의 빈도를 log로 계산하면 된다.