Model Evaluation and Selection

Model Evaluation

모델의 성능을 측정하고 싶다. → Train 데이터에 100% 정확한 모델이 있지만 이는 의미없다.

바로, Test 데이터(Unknown new data)를 사용하여 성능을 측정할 필요가 있다.

방법은 2가지가 존재한다.

1. Hold-out
2. k-fold

Hold-out

새로운 데이터를 사용하여 성능을 측정할 필요가 있다고 했는데

→ 또다른 새로운 데이터 셋을 모아야하는 것인가? No! 바로 기존의 Train 데이터를 나누어

Train / Test로 나누어 Train데이터는 훈련에만, Test데이터는 테스트에만 사용하자!

⇒ Hold-out 방법!

Hold-out : 주어진 데이터를 Training set / Test set으로 나누어 Training set은 모델을 설정하는데 사용, Test set은 모델을 평가하는데 사용하자

• Training set과 Test set은 중복되면 안된다. → 중복되면(독립적이지 않으면) 상관관계가 너무 강해진다.

❗❗특징

• Test set의 사이즈 : 10~30% → randomly하게 스플릿
• 장점 : 간단하고 쉽고 싸고
• 단점 :
  1. 데이터를 랜덤하게 쪼개서 평가(성능)가 data 분할에 따라 상당히 다를 수 있다.
  2. 데이터의 낭비 → test set으로 데이터를 쓰는 만큼을 사용하지 못하므로

Cross Validation

통계적 분산을 위해서(성능이 일정하지 않은 현상, Hold-out에서 발생함)

→ k-fold cross validation이 널리 사용된다.

k-fold Cross Validation

2단계로 진행된다.