Cloudera的CDH和Apache的Hadoop的區分 目前而言,不收費的Hadoop版本主要有3個(均是國外廠商),分別是:
Apache(最原始的版本,所有發行版均基于這個版本進行改進)、Cloudera版本(Cloudera’s Distribution
Including Apache Hadoop,簡稱CDH)、Hortonworks版本(Hortonworks Data Platform,簡稱“HDP”),對國
內而言,絕大多數選擇CDH版本,CDH和Apache版本主要區分以下:
(1) CDH對Hadoop版本的劃分非常清晰,只有兩個系列的版本,分別是cdh3和cdh4,分別對應第1代Hadoop(Hadoop
1.0)和第2代Hadoop(Hadoop 2.0),相比而言,Apache版本則混亂很多;比Apache hadoop在兼容性,安全性,
穩定性上有增強。
(補充:當前已有CDH5,對應Hadoop2.2.0開始)
(2)CDH3版本是基于Apache hadoop 0.20.2改進的,并融入了最新的patch,CDH4版本是基于Apache hadoop 2.X改
進的,CDH總是并利用了最新Bug修復或Feature的Patch,并比Apache hadoop同功能版本提早發布,更新速度比
Apache官方快。
(3)安全 CDH支持Kerberos安全認證,apache hadoop則使用簡陋的用戶名匹配認證
(4)CDH文檔清晰,很多采取Apache版本的用戶都會瀏覽CDH提供的文檔,包括安裝文檔、升級文檔等。
(5)CDH支持Yum/Apt包,Tar包,RPM包,CM安裝,Cloudera Manager3種方式安裝,Apache hadoop只支持Tar包安裝。
注:CDH使用推薦的Yum/Apt包安裝時,有以下幾個好處:
1、聯網安裝、升級,非常方便
2、自動下載依賴軟件包
3、Hadoop生態系統包自動匹配,不需要你尋覓與當前Hadoop匹配的Hbase,Flume,Hive等軟件,Yum/Apt會根據當前
安裝Hadoop版本自動尋覓匹配版本的軟件包,并保證兼容性。
4、自動創建相干目錄并軟鏈到適合的地方(如conf和logs等目錄);自動創建hdfs, mapred用戶,hdfs用戶是HDFS
的最高權限用戶,mapred用戶則負責mapreduce履行進程中相干目錄的權限。