開1個機器學習方法科普系列，也做基礎回顧之用。學而時習之。
content:
linear regression, Ridge, Lasso
Logistic Regression, Softmax
Kmeans, GMM, EM, Spectral Clustering
Dimensionality Reduction: PCA、LDA、Laplacian Eigenmap、 LLE、 Isomap（修改前面的blog）
SVM
C3、C4.5
Apriori，FP
PageRank
minHash, LSH
Manifold Ranking，EMR
待補充
…
…

開始幾篇將詳細介紹1下線性回歸linear regression，和加上L1和L2的正則的變化。后面的文章將介紹邏輯回歸logistic regression，和Softmax regression。為何要先講這幾個方法呢？由于它們是機器學習/深度學習的基石（building block）之1，而且在大量教學視頻和教材中反復被提到，所以我也記錄1下自己的理解，方便以后翻閱。這3個方法都是有監督的學習方法，線性回歸是回歸算法，而邏輯回歸和softmax本質上是分類算法（從離散的分類目標導出），不過有1些場合下也有混著用的――如果目標輸出值的取值范圍和logistic的輸出取值范圍1致。

ok，空話不多說。

1、Linear Regression

可以說基本上是機器學習中最簡單的模型了，但是實際上其地位很重要（計算簡單、效果不錯，在很多其他算法中也能夠看到用LR作為1部份）。

定義1下1些符號表達，我們通常習慣用X=(x1,x2,...,xn)T∈Rn×p$X=(x_1, x_2, ...,x_n)^T in mathbb{R}^{n imes p}$表示數據矩陣，其中xi∈Rp$x_i in mathbb{R}^p$表示1個p維度長的數據樣本；y=(y1,y2,...,yn)T∈Rn$y=(y_1, y_2, ...,y_n)^T in mathbb{R}^{n}$表示數據的label，這里只斟酌每一個樣本1類的情況。

線性回歸的模型是這樣的，對1個樣本xi$x_i$，它的輸出值是其特點的線性組合：

$$egin{equation} f(x_i) = sum_{m=1}^{p}w_m x_{im}+w_0={w}^T{x_i} end{equation}$$
其中，w0$w_0$稱為截距，或bias，上式中通過增加xi0=1$x_{i0}=1$把w0$w_0$也吸收到向量表達中了，簡化了情勢，因此實際上xi$x_i$有p+1$p+1$維度。

線性回歸的目標是用預測結果盡量地擬合目標label，用最多見的Least square作為loss function：

$$egin{equation} J(w)=frac{1}{n}sum_{i=1}^{n}(y_i - f(x_i))^2=frac{1}{n}|y-Xw|^2 end{equation}$$
也就是很多中文教材中提到的最小2乘；線性回歸是convex的目標函數，并且有解析解：
$$egin{equation} hat{w}=(X^{T}X)^{⑴}X^{T}y end{equation}$$
線性回歸到這里就訓練完成了，對每個樣本點的預測值是f(xi)=yi^=w^Txi$f(x_i)=hat{y_i}=hat{w}^{T}x_i$。所以：
$$egin{equation} hat{y} = Xhat{w} = X(X^{T}X)^{⑴}X^{T}y end{equation}$$

接下來看1下我們尋覓到的預測值的1個幾何解釋：從上面的解析解w^=(XTX)?1X 生活不易，碼農辛苦
如果您覺得本網站對您的學習有所幫助,可以手機掃描二維碼進行捐贈