• 獨立的類別變量 C 有若干類別，依賴於特徵變量 F1, F2, ...
• 以貝氏定理表達
  • 計算 $P(C|F_1,F_2,...,F_n)=\frac {P(C)P(F_1,F_2,...,F_n|C)}{P(F_1,F_2,...,F_n)}$
  • $posterior=\frac{prior\times likelihood}{evidence}$
  • 觀察到的數據 $F_i$ 的值已經確定了 ⇒ 分母對所有類別都一樣，只在意分子
    • $P(C)P(F_1,F_2,...,F_n|C)\propto \\\qquad P(C)P(F_1|C)P(F_2,...,F_n|C,F_1) \\\qquad P(C)P(F_1|C)P(F_2|C,F_1)...P(F_n|C,F_1,...,F_{n-1})$
      • $P(F2|C,F_1)=\frac{P(F2 \cap C\cap F1)}{P(C\cap F_1)}=\frac{P(F2 \cap F1|C)\sout P(C)}{P(F_1|C)\sout P(C)}=\frac{P(F_1,F_2|C)}{P(F1|C)}=\frac{P(F_2,C|F_1)}{P(C|F1)}$
• 用在文字
  • 因為字跟字之間是獨立的

樸素

• 假定特徵之間彼此獨立
  • 因為特徵數比較大的時候，計算上式是很難的
  • 為了簡化，便假設特徵間彼此獨立
    • 但事實上不是，所以模型有一些損失
• 公式

  • Naive bayes assumption $\\P(F_i|C,F_j)=P(F_i|C)~or~P(F_i\cap F_j|C)=P(F_i|C)P(F_j|C)$

    • 試著證明

      • 如果事件A, B獨立 ⇒ $P(A\cap B)=P(A)P(B)$

        $\frac{num~of~event(A\cap B)}{num~of~event(world)}=\frac{num~of~event(A)}{num~of~event(world)}\frac{num~of~event(B)}{num~of~event(world)} \\---\\world~is~the~big~rectangle\Rightarrow \\--- \\A=A\cap world \\A\cap B=A\cap B\cap world \\\Rightarrow \\---

        \\\frac{num~of~event(A\cap B\cap world)}{num~of~event(world)}=\frac{num~of~event(A\cap world)}{num~of~event(world)}\frac{num~of~event(B\cap world)}{num~of~event(world)} \\\Rightarrow \\P(A\cap B|world)=P(A|world)P(B|world)$

      • 假設 C 是這個世界 ⇒ $P(A\cap B|C)=P(A|C)P(B|C)$

        • 推廣到 C 是特定事件！！！

      • 只要A,B是獨立的，則A,B與他人的交集仍然是獨立的

  • $P(F|C)=P(F_1,F_2,...,F_n|C) =P(F_1|C)P(F_2|C)...P(F_n|C) \\\qquad\qquad =\prod_{i=1}^nP(F_i|C)$

  • 代回原式求得

  • $\displaystyle P(C|F_1,F_2,...,F_n)=\frac {P(C)\prod_{i=1}^nP(F_i|C)}{P(F_1,F_2,...,F_n)}=\frac1z{P(C)\prod_{i=1}^nP(F_i|C)}$

  • 其中 z 只跟 F1, F2,... 有關，對於所有類別C來說都一樣，當獲得觀察數據以後就是常數

• 分類器
  • $classifier(f_i)=max_c~\frac1zP(C=c)\prod_{i=1}^nP(F_i=f_i|C=c)$

拉普拉斯平滑

• 如果其中一個標籤之 $P(F_i|c)~or~P(c)$ 的機率是 0 ⇒ 分類器接下來就只會計算出零
• 引入平滑
  • 每個標籤的條件概率計算時分子加1，分母加上標籤分量個數
  • 這樣做正確的依據是當資料量很大時，加的值幾乎可以忽略，同時還可以避免分子為0的情況

連續型特徵

• 假設都符合高斯分佈
• 計算特徵的平均值、方差
• 先驗機率 p(class1) p(class2)
  1. 假設都一樣
  2. 或依照樣本比例
• 藉由高斯計算公式
  • $P(fi|c)=\frac1{\sqrt{2\pi\sigma^2}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$
  • $\sigma^2,\mu$ 即觀察樣本中 class = c and feature = fi 的變異數、平均數
  • $x$ 為預測樣本中特徵 fi 之特徵值

其他

• 根本就是MAP $max_\theta~P(x_0|\theta)P(\theta)$
• 貝葉斯估計就是加入平滑