在分類模型中，我們常常以聯(lián)合幾率$P(X,\omega)$或后驗(yàn)幾率$P(\omega|X)$建模，$X=\lbrace x^1,x^2,\ldots ,x^d\rbrace表示1個(gè)d維向量，\omega=\omega_1,\omega_2,\ldots,\omega_k 表示種別。$其中，

$P(X,\omega)=P(X|\omega)\cdot P(\omega)$
$P(\omega|X)=\frac{P(X|\omega)\cdot P(\omega)}{P(X)}$

進(jìn)行轉(zhuǎn)換后，都出現(xiàn)了先驗(yàn)幾率$P(\omega)$和類條件幾率$P(X|\omega)$。先驗(yàn)幾率可以通過對(duì)樣本數(shù)據(jù)進(jìn)行統(tǒng)計(jì)得出，而類條件幾率直接統(tǒng)計(jì)則不是那末容易得出，緣由有兩個(gè)：1）已有訓(xùn)練樣本量總是顯得太少，比如在垃圾郵件分類中，1個(gè)詞向量$x=\lbrace 拍賣，惠購(gòu)，不容錯(cuò)過，商場(chǎng)， 大降價(jià)\rbrace$,可以看出包括該詞向量的文檔很有多是1封垃圾郵件，但很有可能在我們統(tǒng)計(jì)了1000封垃圾郵件后恰恰沒有出現(xiàn)該詞向量的組合，造成估計(jì)毛病；2）當(dāng)特點(diǎn)向量維度d較大的時(shí)候，直接會(huì)帶來計(jì)算量上的問題。例如d=100的時(shí)候，我們?cè)诮y(tǒng)計(jì)需要對(duì)每一個(gè)樣本的100個(gè)維度比較統(tǒng)計(jì)，計(jì)算量非常大。

斟酌上面的問題，在實(shí)際中我們是通過在先驗(yàn)知識(shí)的幫助下估計(jì)條件幾率服從的幾率散布參數(shù)來解決問題的。例如根據(jù)先驗(yàn)知識(shí)，條件幾率$P(X|\omega_i)$服從正態(tài)散布$N(\mu_i,\Sigma_i)$，參數(shù)未知。我們可以將參數(shù)$\mu_i,\Sigma_i$估計(jì)出來，從而條件幾率散布可以肯定，進(jìn)而條件幾率值可以求出。

在對(duì)參數(shù)進(jìn)行估計(jì)時(shí)，主要有兩種思想，1個(gè)是認(rèn)為參數(shù)1個(gè)未知的肯定量，即該參數(shù)是肯定的，只是值是多少我們還未知；1個(gè)是認(rèn)為參數(shù)也是1個(gè)隨機(jī)變量，并服從某種先驗(yàn)幾率散布，我們需要根據(jù)先驗(yàn)與樣本學(xué)習(xí)到參數(shù)關(guān)于樣本的后驗(yàn)幾率散布，進(jìn)而求得類條件幾率。

根據(jù)第1種思想來進(jìn)行參數(shù)估計(jì)的方法主要是最大似然估計(jì)和最大后驗(yàn)估計(jì)。

1、 最大似然估計(jì)
首先來講最大似然估計(jì)，即通過最大化似然函數(shù)來求得參數(shù)值。以條件幾率$P(X|\omega)$服從單個(gè)參數(shù)$\theta$的散布為例，每一個(gè)$\omega_i$對(duì)應(yīng)1個(gè)$\theta_i$，求$P(X|\omega_i)即等價(jià)于P(X|\theta_i)$，參數(shù)估計(jì)值為：

$\hat \theta_{ML}=argmax \sum\limits_{i=1}^nlog p(x_i|\theta)$

2、最大后驗(yàn)估計(jì)
最大后驗(yàn)估計(jì)與最大似然估計(jì)類似，但以最大化后驗(yàn)幾率$P(\theta|X)$為目標(biāo)，情勢(shì)以下：

θ^MAP=argmaxP(θ|X)

生活不易，碼農(nóng)辛苦
如果您覺得本網(wǎng)站對(duì)您的學(xué)習(xí)有所幫助,可以手機(jī)掃描二維碼進(jìn)行捐贈(zèng)