1.Introduction

2. FixMatch

• simple combination of two common approaches to Semi-Supervised Learning (SSL)
  • Consistency regularization
    • weak and strong augmentation
  • Pseudo-labeling

2.1. Background

• Consistency regularization

  $$ \sum^{\mu B}_{b=1} ||p_m(y|\alpha(u_b))-p_m(y|\alpha(u_b))||^2_2 \tag{1} $$

  • $\alpha$ (weak augmentation)와 $p_m$ (predicted class distribution)이 stochastic function이기 때문에 다른 값을 가짐
  • 아이디어를 확장하는 여러 방법들
    • weak augmentation 대신 adversarial transformation 사용 → Virtual Adversarial Training
    • $p_m$의 하나의 동작으로 running average나 past model prediction 사용 → Mean Teacher, Temporal Ensembling
    • squared $l^2$ loss 대신 cross-entropy loss 사용 → Virtual Adversarial Training, UDA, ReMixMatch
    • strong augmentation 사용 → UDA, ReMixMatch
    • 더 큰 SSL pipeline의 한 요소로 consistency regularization 사용 → MixMatch, ReMixMatch

• Pseudo-labeling

  • unlabeled data에 artificial label을 얻기 위해 모델 사용

  • argmax로 hard labels을 만들고 유지

    $$ \frac{1}{\mu B}\sum^{\mu B}_{b=1} \mathbf{1}(\text{max}(q_b) \geq \tau)\text{ H}(\hat{q}_b,q_b) $$

    • $q_b = p_m(y|u_b)$, $\hat{q}_b = \text{argmax}(q_b)$
    • $\tau$ : threshold hyperparameter

  • hard label을 만드는 것은 entropy minimization과 깊은 관련이 있음

2.2. Our Algorithm: FixMatch

• two cross-entropy loss term

  • a supervised loss $l_s$ applied to labeled data
    • weakly augmented label에 cross-entropy loss

  $$ l_s = \frac{1}{B}\sum^B_{b=1}\text{H}(p_b,p_m(y|\alpha(x_b)) \tag{3} $$

  • an unsupervised loss $l_u$
    • artificial label을 각 example에 대해 만들고 standard cross-entropy loss에 사용

      • weakly-augmented unlabeled image에 대해 model의 predicted class distribution 계산 $q_b=p_m(y|\alpha(u_b))$

      • $\hat{q}_b=\text{argmax}(q_b)$를 pseudo-label로 사용하지만 strongly-augmented 데이터에 대한 model의 output에 대해 cross-entropy loss를 계산하는 것은 제외

        $$ l_u = \frac{1}{\mu B}\sum^{\mu B}_{b=1}\mathbf{1}(\text{max}(q_b)\geq\tau)\text{ H}(\hat{q}_b,p_m(y|\mathcal{A}(u_b))) \tag{4} $$

        • $\tau$ : a scalar hyperparameter denoting the threshold

• FixMatch에 사용된 loss는 $l_s+\lambda_ul_u$를 최소화

  • $\lambda_u$를 키우는 것이 최근 SSL algorithm 경향이지만 FixMatch에서는 불필요
    • 학습 초기에는 $\text{max}(q_b)$가 $\tau$보다 작기 때문. 학습이 진행되면서 더 confident되고 $\text{max}(q_b)>\tau$이 경우가 잦아짐
      • $\tau$보다 작은 부분은 loss에서 무시

2.3. Augmentation in FixMatch

• two kinds of augmentation
  • weak
    • standard flip-and-shift augmentation strategy
      • randomly horizontally flipping with 50%
      • randomly translating with up to 12.5% vertically and horizontally
  • strong
    • AutoAugment
      • 강화학습을 이용해 labeled data로 augmentation pipeline을 생성
      • 제한된 labeled data만 사용가능한 SSL에서는 문제가 있음
    • RandAugment, CTAugment + Cutout
      • transformation의 집합이 주어졌을 때
        • RandAugment
          • minibatch내 각 sample에 대해 임의로 transformation을 선택
          • 모든 distortion의 정도를 하나로 고정된 global magnitude로 사용 → grid search를 통해 찾아야 할 hyperparameter
          • UDA와 유사하게 미리 정의된 범위 내 임의 값을 각 trainin step마다 sampling하여 사용하면 semi-supervised training이 더 잘됨
        • CTAugment (in ReMixMatch)
          • transformation magnitudes를 online으로 학습
          • 넒은 범위의 transformation magnitude가 bins로 나누고, 각 bin의 weight는 1로 초기화
          • 모든 example들은 임의로 sampling된 2개의 transofrmation으로 augment
          • magnitude는 bin weight에 따른 확률로 임의로 설정
          • magnitude bins의 weight를 업데이트하기 위해 labeled data를 같은 방법으로 augment → 모델의 prediction이 true label에 얼마나 근접한지에 대해 magnitude bin weight를 업데이트

2.4. Additional important factors

• Semi-supervised 성능은 SSL algorithm 이외에 regularization의 정도 등과 같은 다른 요소의 영향을 상당부분 받을 수 있음 (low-label regime에서 특히)
• Regularization이 그 중 하나!
  • simple weight decay regularization 사용
• Adam optimizer는 좋지 않았으므로 standard SGD with momentum 사용
• Cosine learning rate decay ($\eta\text{ cos}(\frac{7\pi k}{16K})$)
• Exponential moving average of model parameters