🔷 1. Logit의 정의

• Logit은 신경망이 최종적으로 출력하는 값으로, 각 클래스(또는 단어)에 대한 상대적 선호도를 나타냅니다.
• 이 값은 **실수값(real value)**으로, 범위가 정해지지 않아서 음수(-∞)부터 양수(+∞)까지 어떤 값도 가능합니다.
• 확률로 바꾸기 전의 "원본 점수"로 생각할 수 있습니다.

예를 들어, 3개 클래스(A, B, C)에 대한 logit 값이 다음과 같다고 합시다:

이 상태에서 모델은 A 클래스를 가장 선호하는 상태입니다.

🔷 2. 신경망에서 Logit이 나오는 단계

신경망(예: LLM)에서는 아래 단계로 진행됩니다:

Input → ... → (hidden layers) → Final Linear Layer → Logits → Softmax → Probability

• 입력이 주어지면, 여러 히든 레이어를 거쳐 최종적으로 마지막 선형 레이어(linear head)를 통과하여 logit을 얻습니다.
• 마지막 선형 레이어는 보통 아래처럼 표현됩니다:

$$ logit = W \cdot h + b $$

• 여기서:
  • h: 이전 레이어(hidden representation)의 출력 벡터.
  • W, b: 학습 가능한 파라미터(weight, bias)입니다.

즉, 신경망이 최종적으로 내놓는 값 자체가 logit이고, 이것을 변형해서 확률로 만듭니다.

🔷 3. Logit에서 확률로 변환 (Softmax)

모델이 실제로 클래스(단어)를 선택할 확률을 얻기 위해선, logit을 softmax에 넣습니다.

• Softmax 공식: