Regularization - How to avoid overfitting

정규화는 overfitting을 피하는 방법이다.

Choosing the Best Model

good generalized model을 만들고 싶다.

1. training set을 이용하여 여러 모델을 만든다.
2. 모델을 평가하고 best를 고른다.
   • 평가하는 과정에서 k fold와 같은 경우 반복 실행이 발생 → Time consuming

Regularization 정규화

모델이 너무 복잡해져서 overfitting이 되는 걸 막기 위해 모델의 복잡도를 자동 조절하는 기법

• 반복없이 best model 찾는방법이다.

❗기계학습 기법마다 정규화 기법을 갖고 있다.

• Additive model : Weight Decay
• DNN : Weight decay, Drop-out …
• Decision Tree : Puring, Max-Height Limitatiion …
• Naive Bayes : Smoothing

Weight Decay

Test Error를 최소화할 수 있는 모델이 Best model이다!

• 복잡도가 낮을 때는 underfit에 의한 error가 더 많다.
• 복잡도가 높을 때는 overfit에 의한 error가 더 많다.

⚡ Test Error = Error by underfit + Error by overfit

Error by underfit : training dataset에 의한 MSE에 비례 (0차 함수 함숫값의 오차를 생각해보자)

Error by overfit : Model complexity에 비례 (완전히 같은 의미 아님)

→ 이 둘을 최소화하여 Test Error를 최소화시키자!