董西成：Hadoop將在高速發展和完善中擴大優勢！

2014年05月20日，CSDN攜手ChinaHadoop小象社區將打造一場涵蓋分布式在線存儲系統HBase、數據倉庫Hive、Hadoop在電信運營商的應用實踐等內容的“Hadoop在企業中的應用實戰”高端技術培訓。
         

此次“Hadoop在企業中的應用實戰”培訓的起因很簡單，時下數據已經成為當今企業的核心競爭力，擁有大數據并智慧地使用和運營數據成為企業不可缺少的成功要素。Hadoop生態系統提供了一種實用的、經濟有效的、可擴展的架構，幫助企業存儲、管理和處理海量數據。業界在Hadoop上的興趣和投資形成了包括開源軟件和商業化軟件的整個生態系統，Hadoop迅速成為大數據處理方面的業界事實標準。越來越多的企業急需引入Hadoop技術人才！于是CSDN攜手ChinaHadoop小象社區共同打造了此次“Hadoop在企業中的應用實戰”！

在本次培訓開始前，我和本次培訓的講師董西成做了一次簡單的溝通，他表示將會在5月20日“Hadoop在企業中的應用實戰”和大家分享一些Hadoop一些典型的應用案例，主要包括HDFS、YARN和MapReduce三個系統，包括產生背景、基本的架構及使用方法，典型的應用案例等。報名點擊！

董西成         ChinaHadoop小象社區核心成員
嘉賓介紹：《Hadoop技術內幕：深入解析MapReduce架構設計與實現原理》和《Hadoop技術內幕：深入解析YARN架構設計與實現原理》作者。資深Hadoop技術實踐者和研究者，曾參與商用Hadoop原型研發，以及分布式日志系統、全網圖片搜索引擎、Hadoop調度器等項目的設計與研發。

以下是記者采訪原文：

-什么原因吸引你鉆研Hadoop技術？
我最初開始研究Hadoop是在研究生階段。當時剛進入實驗室做項目，第一個項目就是Hadoop優化相關的，之后Hadoop一直伴隨著我，它的開放性、架構設計巧妙、參與者眾多、更新速度快等優點吸引著我，是我一直持續研究Hadoop的動力。目前絕大部分互聯網公司在使用Hadoop，它已經成為一個“公共標識”或者“公共語言”，讓不同背景、不同經歷的技術人員饒有興致地交流和溝通，且在交流中一起成長，一起收獲成就感。

-對于解決哪些問題Hadoop獨具優勢？
目前Hadoop已經涵蓋了大部分互聯網應用場景，尤其是Hadoop YARN出現之后，很多系統可以跟Hadoop友好地結合起來，共同完成之前難以完成的任務。總起來說，目前Hadoop涵蓋了從數據收集、到分布式存儲，再到分布式計算的各個領域，在各領域都有自己獨特優勢：

• 數據收集：Hadoop提供了分布式收集工具，包括Flume、Sqoop等，可以從分布式離散的數據源（WEB服務、傳統關系型數據庫等）中收集數據，導入中央化的存儲系統中。
• 分布式存儲：包括無結構化存儲HDFS、半結構化存儲HBase等，滿足大部分離線存儲和在線存儲需求，隨著HDFS本身的完善（比如新特性HDFS Cache、支持異構存儲介質等）和新型存儲文件格式的出現（包括ORCFile、Parquet等），HDFS將越來越強大。
• 分布式計算：在Hadoop 1.0時代，Hadoop主要還是面向離線批處理計算的，隨著Hadoop 2.0的出現及穩定，它已經逐步開始支持交互式計算和實時計算，尤其是Hadoop YARN出現后，可以允許多種類型的計算任務運行在一個集群中，用戶也可以根據自己需要開發適合自己的計算框架。總之，Hadoop在高速發展和完善中，它在不斷擴展自己的優勢。

-目前企業應用Hadoop最大的困難是什么？
不同類型的企業遇到的困難不一樣，對于一些中小型互聯網公司由于它們的Hadoop技術人員數量有限，當需要運維Hadoop生態系統中多個系統且要對它們進行升級時，會遇到較大的困難。這主要是Hadoop更新速度過快，會不斷有新特性和新功能出現，而這些新特性和功能往往缺乏文檔說明，通常需要平臺維護和開發人員通過追蹤代碼了解新增特性的實現細節和配置方法，這是一件極具挑戰和極耗精力的事情。
對于傳統非互聯網公司，它們遇到的困難可能有：

• 根據自己的應用類型選擇相應的Hadoop解決方案 。
• 如何將現有架構遷移到Hadoop上 。
• 如果之前使用的商用軟件替換為Hadoop后，自己如何維護和管理Hadoop等。

-根據您的了解，目前Hadoop發展的情況如何？
目前Hadoop發展迅猛，尤其是Hadoop 2.0出現后，HDFS和YARN兩個系統均有多個重大特性得到了實現，進而推動了上層計算系統的發展，包括Tez的出現，使得Hive和Pig有了更大的性能提升，出現了各種基于YARN的新型框架等。

-請談談你在這次Hadoop培訓上即將分享的話題。
在這次Hadoop培訓上，我主要分享一些Hadoop基礎知識和一些典型的應用案例，主要包括HDFS、YARN和MapReduce三個系統，介紹這幾個系統的基礎，包括產生背景、基本的架構及使用方法，典型的應用案例等，當然，還會介紹它們最近發展動態和趨勢，對于把握Hadoop技術發展趨勢有一定指導作用。

-哪些人群應該來參加本次培訓？會對他們有哪些幫助？
這次培訓主要面向正準備試用Hadoop的公司和Hadoop初中級學者。該培訓可以為那些想了解Hadoop是什么、可以做什么、有哪些成功案例的人群，在Hadoop技術選型、Hadoop技術架構設計特點、Hadoop應用等方面給予指導。

更多精彩盡在2014年5月20日“Hadoop在企業中的應用實戰”培訓，目前報名可享受三人成團優惠價！馬上報名！

往期采訪：

冼茂源：HBase在垂直搜索業務以及數據存儲中的應用！

以“ 云計算大數據 推動智慧中國 ”為主題的 第六屆中國云計算大會 將于5月20-23日在北京國家會議中心隆重舉辦。產業觀察、技術培訓、主題論壇、行業研討，內容豐富，干貨十足。 需要購買的朋友，請抓住這最后的機會，點擊報名！

生活不易，碼農辛苦
如果您覺得本網站對您的學習有所幫助,可以手機掃描二維碼進行捐贈