跟我一起數(shù)據(jù)挖掘（20）——網(wǎng)站日志挖掘

搜集web日志的目的

Web日志發(fā)掘是指采取數(shù)據(jù)發(fā)掘技術(shù)，對(duì)站點(diǎn)用戶訪問Web服務(wù)器進(jìn)程中產(chǎn)生的日志數(shù)據(jù)進(jìn)行分析處理，從而發(fā)現(xiàn)Web用戶的訪問模式和興趣愛好等，這些信息對(duì)站點(diǎn)建設(shè)潛伏有用的可理解的未知信息和知識(shí)，用于分析站點(diǎn)的被訪問情況，輔助站點(diǎn)管理和決策支持等。

1、以改進(jìn)web站點(diǎn)設(shè)計(jì)為目標(biāo)，通過發(fā)掘用戶聚類和用戶的頻繁訪問路徑，修改站點(diǎn)的頁面之間的鏈接關(guān)系，以適利用戶的訪問習(xí)慣，并且同時(shí)為用戶提供有針對(duì)性的電子商務(wù)活動(dòng)和個(gè)性化的信息服務(wù)，利用信息推拉技術(shù)構(gòu)建智能化Web站點(diǎn)。

2、以分析Web站點(diǎn)性能為目標(biāo)，主要從統(tǒng)計(jì)學(xué)的角度，對(duì)日志數(shù)據(jù)項(xiàng)進(jìn)行粗略的統(tǒng)計(jì)分析，得到用戶頻繁訪問頁、單位時(shí)間的訪問數(shù)、訪問數(shù)量隨時(shí)間散布圖等。現(xiàn)有的絕大多數(shù)的Web日志分析工具都屬于此類。

3、以理解用戶意圖為目標(biāo)，主要是通過與用戶交互的進(jìn)程搜集用戶的信息，Web服務(wù)器根據(jù)這些信息對(duì)用戶要求的頁面進(jìn)行裁剪，為用戶返回定制的頁面，其目的就是提高用戶的滿意度和提供個(gè)性化的服務(wù)。

搜集方式

網(wǎng)站分析數(shù)據(jù)主要有3種搜集方式：Web日志、JavaScript標(biāo)記和包嗅探器。

1. Web日志

web日志處理流程：

從上圖可以看出網(wǎng)站分析數(shù)據(jù)的搜集從網(wǎng)站訪問者輸入U(xiǎn)RL向網(wǎng)站服務(wù)器發(fā)出http要求就開始了。網(wǎng)站服務(wù)器接收到要求后會(huì)在自己的Log文件中追加1條記錄，記錄內(nèi)容包括：遠(yuǎn)程主機(jī)名(或是IP地址)、登錄名、登錄全名、發(fā)要求的日期、發(fā)要求的時(shí)間、要求的詳細(xì)(包括要求的方法、地址、協(xié)議)、要求返回的狀態(tài)、要求文檔的大小。隨后網(wǎng)站服務(wù)器將頁面返回到訪問者的閱讀器內(nèi)得以展現(xiàn)。

2. JavaScript標(biāo)記

JavaScript標(biāo)記處理流程：

上圖所示JavaScript標(biāo)記同Web日志搜集數(shù)據(jù)1樣，從網(wǎng)站訪問者發(fā)出http要求開始。不同的是，JavaScript標(biāo)記返回給訪問者的網(wǎng)頁代碼中會(huì)包括1段特殊的JavaScript代碼，當(dāng)頁面展現(xiàn)的同時(shí)這段代碼也得以履行。這段代碼會(huì)從訪問者的Cookie中獲得詳細(xì)信息(訪問時(shí)間、閱讀器信息、工具廠商賦予當(dāng)前訪問者的userID等)并發(fā)送到工具商的數(shù)據(jù)搜集服務(wù)器。數(shù)據(jù)搜集服務(wù)器對(duì)搜集到的數(shù)據(jù)處理后存入數(shù)據(jù)庫中。網(wǎng)站經(jīng)營(yíng)人員通過訪問分析報(bào)表系統(tǒng)查看這些數(shù)據(jù)。

3. 包嗅探器

通過包嗅探器搜集分析的流程：

上圖可以看出網(wǎng)站訪問者發(fā)出的要求到達(dá)網(wǎng)站服務(wù)器之前，會(huì)先經(jīng)過包嗅探器，然后包嗅探器才會(huì)將要求發(fā)送到網(wǎng)站服務(wù)器。包嗅探器搜集到的數(shù)據(jù)經(jīng)過工具廠商的處理服務(wù)器后存入數(shù)據(jù)庫。隨后網(wǎng)站經(jīng)營(yíng)人員就能夠通過分析報(bào)表系統(tǒng)看到這些數(shù)據(jù)。

web日志發(fā)掘進(jìn)程

整體流程參考下圖：

1、數(shù)據(jù)預(yù)處理階段
    根據(jù)發(fā)掘的目的，對(duì)原始Web日志文件中的數(shù)據(jù)進(jìn)行提取、分解、合并、最后轉(zhuǎn)換為用戶會(huì)話文件。該階段是Web訪問信息發(fā)掘最關(guān)鍵的階段，數(shù)據(jù)預(yù)處理包括:關(guān)于用戶訪問信息的預(yù)處理、關(guān)于內(nèi)容和結(jié)構(gòu)的預(yù)處理。

2、會(huì)話辨認(rèn)階段
    該階段本是屬于數(shù)據(jù)預(yù)處理階段中的1部份，這里將其劃分成單獨(dú)的1個(gè)階段，是由于把用戶會(huì)話文件劃分成的1組組用戶會(huì)話序列將直接用于發(fā)掘算法，它的精準(zhǔn)度直接決定了發(fā)掘結(jié)果的好壞，是發(fā)掘進(jìn)程中最重要的階段。

3、模式發(fā)現(xiàn)階段
    模式發(fā)現(xiàn)是應(yīng)用各種方法和技術(shù)從Web同志數(shù)據(jù)中發(fā)掘和發(fā)現(xiàn)用戶使用Web的各種潛伏的規(guī)律和模式。模式發(fā)現(xiàn)使用的算法和方法不單單來自數(shù)據(jù)發(fā)掘領(lǐng)域，還包括機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)和模式辨認(rèn)等其他專業(yè)領(lǐng)域。

模式發(fā)現(xiàn)的主要技術(shù)有：統(tǒng)計(jì)分析（statistical analysis）、關(guān)聯(lián)規(guī)則（association rules）、聚類（clustering）、歸類（classification）、序列模式（sequential patterns）、依賴關(guān)系（dependency）。

（1）統(tǒng)計(jì)分析（statistical analysis）：經(jīng)常使用的統(tǒng)計(jì)技術(shù)有：貝葉斯定理、預(yù)測(cè)回歸、對(duì)數(shù)回歸、對(duì)數(shù)-線性回歸等。可用來分析網(wǎng)頁的訪問頻率，網(wǎng)頁的訪問時(shí)間、訪問路徑。可用于系統(tǒng)性能分析、發(fā)現(xiàn)安全漏洞、為網(wǎng)站修改、市場(chǎng)決策提供支持。

（2）關(guān)聯(lián)規(guī)則（association rules）：關(guān)聯(lián)規(guī)則是最基本的發(fā)掘技術(shù)，同時(shí)也是WUM最經(jīng)常使用的方法。在WUM中常經(jīng)常使用在被訪問的網(wǎng)頁中，這有益于優(yōu)化網(wǎng)站組織、網(wǎng)站設(shè)計(jì)者、網(wǎng)站內(nèi)容管理者和市場(chǎng)分析，通過市場(chǎng)分析可以知道哪些商品被頻繁購買，哪些顧客是潛伏顧客。

（3）聚類（clustering）：聚類技術(shù)是在海量數(shù)據(jù)中尋覓彼此相似對(duì)象組，這些數(shù)據(jù)基于距離函數(shù)求出對(duì)象組之間的相似度。在WUM中可以把具有相似模式的用戶分成組，可以用于電子商務(wù)中市場(chǎng)分片和為用戶提供個(gè)性化服務(wù)。

（4）歸類（classification）：歸類技術(shù)主要用處是將用戶資料歸入某1特定類中，它與機(jī)器學(xué)習(xí)關(guān)系很緊密。可以用的技術(shù)有：決策樹（decision tree）、K-最近鄰居、Na?ve Bayesian classifiers、支持向量機(jī)（support vector machines）。

（5）序列模式（sequential patterns）：給定1個(gè)由不同序列組成的集合，其中，每一個(gè)序列由不同的元素按順序有序排列，每一個(gè)元素由不同項(xiàng)目組成，同時(shí)給定1個(gè)用戶指定的最小支持度閾值，序列模式發(fā)掘就是找出所有的頻繁子序列，即子序列在序列集中的出現(xiàn)頻率不低于用戶指定的最小支持度閾值。

（6）依賴關(guān)系（dependency）：1個(gè)依賴關(guān)系存在于兩個(gè)元素之間，如果1個(gè)元素A的值可以推出另外一個(gè)元素B的值，則B依賴于A。

4、模式分析階段
    模式分析是Web使用發(fā)掘最后1步，主要目的是過濾模式發(fā)現(xiàn)階段產(chǎn)生的規(guī)則和模式，去除那些無用的模式，并把發(fā)現(xiàn)的模式通過1定的方法直觀的表現(xiàn)出來。由于Web使用發(fā)掘在大多數(shù)情況下屬于無偏向?qū)W習(xí)，有可能發(fā)掘出所有的模式和規(guī)則，所以不能排除其中有些模式是常識(shí)性的，普通的或終究用戶不感興趣的，故必須采取模式分析的方法使得發(fā)掘出來的規(guī)則和知識(shí)具有可讀性和終究可理解性。常見的模式分析方法有圖形和可視化技術(shù)、數(shù)據(jù)庫查詢機(jī)制、數(shù)理統(tǒng)計(jì)和可用性分析等。

搜集數(shù)據(jù)包括

搜集的數(shù)據(jù)主要包括：

全局UUID、訪問日期、訪問時(shí)間、生成日志項(xiàng)的服務(wù)器的IP地址、客戶端試圖履行的操作、客戶端訪問的服務(wù)器資源、客戶端嘗試履行的查詢、客戶端連接到的端口號(hào)、訪問服務(wù)器的已驗(yàn)證用戶名稱、發(fā)送服務(wù)器資源要求的客戶端IP地址、客戶端使用的操作系統(tǒng)、閱讀器等信息、操作的狀態(tài)碼（200等）、子狀態(tài)、用Windows@使用的術(shù)語表示的操作的狀態(tài)、點(diǎn)擊次數(shù)。

用戶辨認(rèn)

對(duì)網(wǎng)站的運(yùn)營(yíng)者來講，如何能夠高效精確的辨認(rèn)用戶非常關(guān)鍵，這會(huì)對(duì)網(wǎng)站運(yùn)營(yíng)帶來極大的幫助，如定向推薦等。

用戶辨認(rèn)方法以下：

使用HDFS存儲(chǔ)

數(shù)據(jù)搜集到服務(wù)器以后，根據(jù)數(shù)據(jù)量可以斟酌將數(shù)據(jù)存儲(chǔ)在hadoop的HDFS中。

如果不熟習(xí)HDFS，可以參考：

http://www.niubua.com/?p=1107

在現(xiàn)在的企業(yè)中，1般情況下都是多臺(tái)服務(wù)器生成日志，日志包括nginx生成的，也包括在程序中使用log4j生成的自定義格式的。

通常的架構(gòu)以下圖：

使用mapreduce分析nginx日志

nginx默許的日志格式以下：

222.68.172.190 - - [18/Sep/2013:06:49:57 +0000] "GET /images/my.jpg HTTP/1.1" 200 19939
 "http://www.angularjs.cn/A00n" "Mozilla/5.0 (Windows NT 6.1)
 AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.66 Safari/537.36"

變量的解釋以下：

• remote_addr: 記錄客戶真?zhèn)€ip地址, 222.68.172.190
• remote_user: 記錄客戶端用戶名稱,
  生活不易，碼農(nóng)辛苦
  如果您覺得本網(wǎng)站對(duì)您的學(xué)習(xí)有所幫助,可以手機(jī)掃描二維碼進(jìn)行捐贈(zèng)