1. SVM

1-1. 特性

将向量映射到一个更高维的空间里
在这个空间里找到一个有最大间隔的超平面
- 其两边建有两个互相平行的超平面
- 使两个平行超平面的距离最大化
  - 超平面间的距离或差距越大，分类器的总误差越小

數據表示：訓練資料為 $\{(\mathbf x_i, y_i)\}, \quad \forall i=1,2,...,n, \quad \mathbf x_i\in R^d, \quad y_i\in \{+1,-1\}$
- x為d維
- 整體數據為d+1維（特徵+label）
超平面之公式為 wx + b = 0, 向量表達公式為 $\mathbf w^\mathbf T\mathbf x +b=0$
- 若數據為二維，則 w = (w1, w2), x = (x1, x2) ⇒ $w_1x_1+w_2x_2+b=0$
- 若數據為 n+1 維，則 w = (w1, w2, ..., wn), x = (x1, x2, ..., xn) ⇒ $w_1x_1+w_2x_2+...+w_nx_n+b=0$
- 兩輔助平面分別為
  - $\mathbf w^\mathbf T\mathbf x +b=1$
  - $\mathbf w^\mathbf T\mathbf x +b=-1$
數據點 x 到該超平面之距離d為 $\frac{|ax+by+c|}{\sqrt{a^2+b^2}} \Rightarrow\frac{|w^\top x+b|}{||w||}$
- ||w|| 為歐幾里德範數、第二範數 $||w|| = \sqrt{w_1^2+w_2^2+...+w_n^2}$
平面到平面之距離 $\frac{|c_1-c_2|}{\sqrt{a^2+b^2}} \Rightarrow\frac{|(b+1)-(b-1)|}{||w||}=\frac{|2|}{||w||}$