您當前位置：首頁 > 服務器 > 數學之路-數據分析進階-廣義線性模型

數學之路-數據分析進階-廣義線性模型

來源：程序員人生發布時間：2015-01-17 10:06:24 閱讀次數：3601次

在統計學上，廣義線性模型 (Generalized linear model) 是1種遭到廣泛利用的線性回歸模式。此模式假定實驗者所量測的隨機變量的散布函數與實驗中系統性效應(即非隨機的效應)可經過1鏈結函數(link function)建立起可資解釋其相干性的函數。

廣義線性模型（generalized linear model, GLM)是簡單最小2乘回歸（OLS)的擴大,在廣義線性模式中，假定每一個資料的觀測值 $mathbf Y$ 來自某個指數族散布。該散布的平均數 $oldsymbolmu$ 可由與該點獨立的X解釋：

operatorname{E}(oldsymbol{y}) = oldsymbol{mu} = g^{-1}(mathbf{X}oldsymbol{eta})

其中 $E(oldsymbol y)$ 為 $oldsymbol y$ 的期望值， $mathbf Xoldsymboleta$ 是由未知待估計參數 $oldsymboleta$ 與已知變量 $mathbf X$ 構成的線性估計式， $g$ 則為鏈結函數。

在此模式下， $oldsymbol y$ 的方差 $V$ 可表示為：

operatorname{Var}(oldsymbol{y}) = operatorname{V}( oldsymbol{mu} ) = operatorname{V}(g^{-1}(mathbf{X}oldsymbol{eta})).

1般假定 $V$ 可視為1指數族隨機變量的函數。

未知參數 $oldsymboleta$ 通常會以最大概似估計量, 殆最大概似估計量, 或以貝氏方法來估計。

鏈結函數解釋了線性預測子與散布期望值的關系。鏈結函數的選擇可視情形而定。通常只要符合鏈結函數的值域有包括散布期望值的條件便可。

當使用具正則參數θ的散布時，鏈結函數需符合X^TY 為β的充份統計量此1條件。這在θ與線性預測子的鏈結函數值相等時方成立。下面列出若干指數族散布的典則鏈結函數及其反函數(有時稱為均值函數)：

典則鏈結函數
散布	名稱	鏈結函數	均值函數
正態	恒等	$mathbf{X}oldsymbol{eta}=mu,!$	$mu=mathbf{X}oldsymbol{eta},!$
指數	倒數	$mathbf{X}oldsymbol{eta}=mu^{-1},!$	$mu=(mathbf{X}oldsymbol{eta})^{-1},!$
Gamma	倒數	$mathbf{X}oldsymbol{eta}=mu^{-1},!$	$mu=(mathbf{X}oldsymbol{eta})^{-1},!$
逆高斯	2次倒數	$mathbf{X}oldsymbol{eta}=mu^{-2},!$	$mu=(mathbf{X}oldsymbol{eta})^{-1/2},!$
泊松	自然對數	$mathbf{X}oldsymbol{eta}=ln{(mu)},!$	$mu=exp{(mathbf{X}oldsymbol{eta})},!$
2項式	Logit	$mathbf{X}oldsymbol{eta}=ln{left(frac{mu}{1-mu} ight)},!$	$mu=frac{exp{(mathbf{X}oldsymbol{eta})}}{1 + exp{(mathbf{X}oldsymbol{eta})}},!$
多項式	Logit	$mathbf{X}oldsymbol{eta}=ln{left(frac{mu}{1-mu} ight)},!$