貝葉斯定理

(p(y|x)=\frac{p(x,y)}{p(x)}=\frac{p(y)*p(x|y)}{\sum_{y}{}p(y)*p(x|y)})

條件獨立

(p(X=x|Y=c_k)=\prod_{j=1}^{n}p(X^j=x^j|Y=c_k))

樸素貝葉斯

(y=\arg \max_{c_k} \frac{p(Y=c_k)*\prod_{j} p(X^j=x^j|Y=c_k)}{p(X=x)})

分母為定值，份子最大時獲得最大值。

參數估計

上述公式中幾率根據訓練數據進行經驗估計。

(p(Y=c_k)=\frac{\sum_{i=1}{N}I(y_i = c_k)}{N})

(p(X^j=a_j|y=c_k)=\frac{\sum_{i=1}^{n}I(x_{i}^{j}=a_j,y_i=c_k)}{\sumI(y_i=c_k)})

上式幾率值可能為0，引發分類偏差。引入

(p(X^j=a_j|y=c_k)=\frac{\sum_{i=1}^{n}I(x_{i}^{j}=a_j,y_i=c_k)+\lambda}{\sum_{}I(y_i=c_k)+lambda})

當λ=1時，又稱為拉普拉斯平滑。