Hadoop集群環境下網絡架構的設計與優化

【編者按】大多數的大數據供應商研究重點都是架構、邏輯、算法等，很多都忽略了網絡環節的優化，思科公司針對Hadoop 集群環境下的網絡環境進行了一個測試，測試結果顯示，一個有彈性的網絡對Hadoop 集群非常重要；對Hadoop 集群具有重要影響的網絡特性，并對其影響程度從大到小做出了排序，本文來自中國大數據網。

CSDN推薦：歡迎免費訂閱《Hadoop與大數據周刊》獲取更多Hadoop技術文獻、大數據技術分析、企業實戰經驗，生態圈發展趨勢。

以下為原文：

大數據時代，研究大數據的IT 廠商把研究重心放在優化大數據系統軟件架構、優化業務邏輯、優化數據分析算法、優化節點性能等方向，而忽略了大數據環境基礎設置中網絡環節的評估和優化。本文介紹了思科公司在Hadoop 集群環境下的網絡架構設計與優化經驗。

大數據Hadoop環境網絡特性Hadoop 集群中的各節點通過網絡連接起來，而且MapReduce 中的以下過程會在網絡中傳輸數據。

（1）寫數據。當向HDFS 寫入初始數據或者大塊數據時，會發生數據寫入過程。寫入的數據塊需要備份到其他節點，需要在網絡中傳輸這些數據。

（2）作業執行。

① Map 階段。在算法的Map 階段，幾乎不需要在網絡中傳輸數據。在Map 開始階段，當HDFS 數據沒有本地性（數據塊不在本地存儲，需要從其他節點拷貝）時，才需在網絡中傳輸數據。

② Shuffle 階段。這是作業執行中在網絡中傳輸數據的階段，數據傳輸的程度依賴于作業。Mapper 階段的輸出內容，會在這個時候傳輸到Reducer 進行排序。

③ Reduce 階段。因為Reducer 需要的數據已經從Shuffle 階段傳來，所以此階段不需要網絡傳輸數據。

④ Output 復制。MapReduce 的輸出作為文件存儲在HDFS 上。當將輸出結果寫入HDFS 時，產生的備份會在網絡中傳輸。

（3）讀數據。當應用程序如網站、索引或者SQL數據庫從HDFS 讀取數據時，會發生數據讀取的過程。另外，網絡對Hadoop 的控制層非常重要，比如HDFS 的信令和運維操作，以及MapReduce 架構都受到網絡影響。

五種網絡特性

思科公司針對Hadoop 集群環境下的網絡環境進行了一個測試，測試結果顯示，一個有彈性的網絡對Hadoop 集群非常重要；對Hadoop 集群具有重要影響的網絡特性，以其影響程度從大到小依次排序為：網絡可用性和彈性、Burst 流量突發處理和隊列深度、網絡過載比、Datanode 網絡接入和網絡延遲。

（1）網絡可用性和彈性。要部署一個高冗余性和可擴展的網絡，支持Hadoop 集群的增長。在Datanode之間部署多條鏈路的技術要比那些有單點失效或兩點失效的技術要好。交換機和路由器已經在業界被證明能夠為服務器提供網絡可用性。

（2）Burst 流量突發處理和隊列深度。HDFS 的有些操作和MapReduce Job 會產生突發流量，如向HDFS加載文件或者把結果文件寫入HDFS 都需要通過網絡。網絡如果處理不了突發流量，就會丟棄數據包，所以適當的緩存可以緩解突發流量的影響。確保選擇使用緩存和隊列的交換機和路由器，來有效處理流量突發。

（3）網絡過載比。一個好的網絡設計需要考慮到網絡中關鍵節點的擁塞情況。一個ToR 交換機從服務器接收20Gbps 的數據，但是只有2 個1Gbps 的上聯口會造成數據包丟失（10：1 的過載比），嚴重影響集群的性能。過度配置的網絡的價格又非常昂貴。一般情況下，服務器接入層可以接受的過載比在4：1 左右，接入層和匯聚層之間，或者核心層的過載比在2：1左右。

（4）Datanode 網絡接入。要基于集群工作負荷來推薦帶寬配置。一般集群中的節點有1 到2 根1GB 的上聯口。是否選擇10Gbps 的服務器要權衡價格和性能。

（5）網絡延遲。交換機和路由器延遲的變化對集群性能的影響有限。相比網絡延遲，應用層延遲對任務的影響比例更大。但是網絡的延遲會對應用系統造成潛在的影響，例如造成不必要的應用切換等。

原文鏈接：Hadoop集群環境下的網絡架構的設計與優化 （責編/魏偉）

以“云計算大數據 推動智慧中國 ”為主題的 第六屆中國云計算大會 將于5月20-23日在北京國家會議中心隆重舉辦。產業觀察、技術培訓、主題論壇、行業研討，內容豐富，干貨十足。票價優惠，馬上 報名 ！  

生活不易，碼農辛苦
如果您覺得本網站對您的學習有所幫助,可以手機掃描二維碼進行捐贈