葉琪：Hadoop不是萬能的 要明確場景揚長避短

2014年05月20日，CSDN攜手ChinaHadoop小象社區將打造一場涵蓋分布式在線存儲系統HBase、數據倉庫Hive、Hadoop在電信運營商的應用實踐等內容的“Hadoop在企業中的應用實戰”高端技術培訓。

此次“Hadoop在企業中的應用實戰”培訓的起因很簡單，時下數據已經成為當今企業的核心競爭力，擁有大數據并智慧地使用和運營數據成為企業不可缺少的成功要素。Hadoop生態系統提供了一種實用的、經濟有效的、可擴展的架構，幫助企業存儲、管理和處理海量數據。業界在Hadoop上的興趣和投資形成了包括開源軟件和商業化軟件的整個生態系統，Hadoop迅速成為大數據處理方面的業界事實標準。越來越多的企業急需引入Hadoop技術人才！于是CSDN攜手ChinaHadoop小象社區共同打造了此次“Hadoop在企業中的應用實戰”！

在本次培訓開始前，我和本次培訓的講師葉琪做了一次簡單的溝通，他表示將會在5月20日“Hadoop在企業中的應用實戰” 就Haodop系統的規劃設計、建設、運維等方面分享下這幾年我在電信行業的Hadoop實施心得。報名點擊！

以下是采訪原文：

-什么原因吸引你鉆研Hadoop技術？

在Hadoop的世界里能遇到各種系統最底層最復雜的技術問題，這是最吸引我長期鉆研的最大動力。我的職業生涯經歷過幾個不同類型的產品，但大多屬于Application層面的，完全不涉及OS、文件系統、內存管理、網絡通信等核心技術，當我有一天有幸開始從事Hadoop這個產品并逐漸去研究它的內核代碼時，我發現這里有所有我最感興趣的話題，于是自己開始不可救藥的愛上它了。

-對于解決哪些問題Hadoop獨具優勢？

Hadoop不是萬能的，不能解決所有的大數據需求，自身也還有安全、實時性、SQL能力等諸多缺陷，所以一定明確需求和使用場景，用其長棄其短。

在電信行業里，Hadoop最適合處理網絡信令、上網話單、業務日志這三類數據，這三類數據的最大特點是量大（每天可以達到1T以上）、結構化（有明確的字段含義）、存儲時間長（長達1年及以上），使用Hive+MapReduce、HBase等組件剛好能滿足統計匯總、點查詢等基礎需求，能替代大部分IOE產品并與其互補，因此在這些場景下Hadoop獨具優勢。

-目前企業應用Hadoop最大的困難是什么？

我覺得最主要的還是SQL，傳統企業應用都是SQL方式連接數據庫，因此遷移到Hive QL和HBase之上會面臨表結構變化和接口適配的問題，其次是人員技能問題，這些都是企業應用Hadoop的最大障礙。

-根據您的了解，目前Hadoop發展的情況如何？

Hadoop從互聯網行業起步，已經獲得了廣泛的共識和巨大成功。這種成功已經成為示范效應而擴散到其他傳統行業，當前正在劇變期的是電信行業，各類傳統存儲技術都面臨升級到Hadoop的趨勢；接下來是金融行業，現在的金融行業就像2年前的電信行業，處于萌芽期，一旦有了成功案例的“星星之火”，會馬上掀起一股“燎原之勢”。

-請談談你在這次Hadoop培訓上即將分享的話題。

目前國內已經有很多不錯的論壇和技術博客，對Hadoop的各方面內核技術有很多的分析；所以我不打算重復這些內容，而打算就Haodop系統的規劃設計、建設、運維等方面分享下這幾年我在電信行業的Hadoop實施心得。

-哪些人群應該來參加本次培訓？會對他們有哪些幫助？

打算或即將在企業內實施Hadoop系統的IT部門主管、系統架構師是我本次培訓課題的目標對象。這些人群對Hadoop有一些初步的認識，但沒有能力自主規劃建設一個生產級的Hadoop集群并將其運維好，也沒有能力甄別應該選擇哪個Hadoop發行版或哪些技術供應商來幫助他們建設好這個系統。

更多精彩盡在2014年5月20日“Hadoop在企業中的應用實戰”培訓，目前報名可享受三人成團優惠價！馬上報名！

往期采訪文章：

董西成：Hadoop將在高速發展和完善中擴大優勢！

冼茂源：HBase在垂直搜索業務以及數據存儲中的應用！

以“ 云計算大數據 推動智慧中國 ”為主題的 第六屆中國云計算大會 將于5月20-23日在北京國家會議中心隆重舉辦。產業觀察、技術培訓、主題論壇、行業研討，內容豐富，干貨十足。 需要購買的朋友，請抓住這最后的機會，點擊報名！

生活不易，碼農辛苦
如果您覺得本網站對您的學習有所幫助,可以手機掃描二維碼進行捐贈