Soft Margin vs Hard Margin

• Hard Margin : Error를 허용하지 않고, Margin 공간 안쪽에 데이터가 존재할 수 없음
• Soft Margin : Error를 허용하고, Margin 공간 안쪽에 데이터가 존재할 수 있음

Non-Linearly Separable Problem

• 에러 없이 최대 margin을 갖는 경계선을 찾는 것은 불가능하다.

  ⇒ with minimum error ! 를 갖도록 하자

❓그렇다면, 에러를 어떻게 정의내릴까?

Error Define in Soft Margin SVM

• 직선과의 수직거리가 아닌, y축 길이(수직거리)를 E(에러)로 정의한다.

  • 왜냐면, 예를들면 그래야지만 x4의 y값을 1-E4로 표현할 수 있기 때문에

    

❓ 그렇다면 뭐가 더 나을까?

• 두 직선의 margin은 비슷한데, 수직거리가 E2가 더 크기 때문에 x4가 더 낫다!(에러를 최소화해야하니까)

Formulation 공식화

• 뭐가 위반된(에러를 발생시키는) 점인지 모르기 때문에 모든 점에 E를 달아준다.
• Blue든 Red든 상관없이 하나의 공식으로 사용가능

• 어차피 경계선 아래에 있는 애들은 (wxi+b) ≤ Ei-1에서 yi(=-1)를 곱하면 yi(wxi+b) ≥ 1-Ei 가 된다.

⭐ 최종 공식