지식 증류에서 T는 distillation temperature

지식 증류의 목적은 Teacher network의 지식을 실제 사용하고자 하는 student network에 전달하느것

다음과 같은 소프트맥스 함수

• T=1T = 1T=1: 일반적인 소프트맥스
• T>1T > 1T>1: 출력 분포를 평탄하게(smooth) 만들어줌
• T<1T < 1T<1: 출력 확률이 더 샤프하게(sharp) 됨

1. $T=1$ 일반적인 Softmax

   • 일반적인 classification에서 사용하는 형태
   • 가장 높은 로짓 하나에 거의 모든 확률이 쏠림 → 정보가 제한적

2. $T>1$ 확률 분포가 더 평탄해짐

   • 지수함수의 곡선이 완만해지기 때문 → 여러 클래스에 의미 있는 확률이 분포됨

     예를 들어, 원래는

     • [0.01,0.98,0.01] 이던 것이
     • T=5T 에서는[0.2,0.5,0.3]로 변함

     → student가 더 다양한 클래스 간 유사성을 배움

3. $T<1$ 확률 분포가 더 샤프해짐

   • 거의 hard label과 유사해짐

왜 T>1이 유리한가?

목표: teacher가 배운 클래스 간의 유사도를 student에게 전달

• 일반적인 cross-entropy는 오직 정답 클래스만 강조
• 반면 distillation에서는 다른 클래스 간에도 teacher가 갖는 판단 근거를 전달하는 게 목표
• T>1 을 쓰면 이러한 정보가 softmax 결과로 잘 표현되어 student가 더 많은 정보를 학습할 수 있음

Preliminary experiments on MNIST