Apache Hadoop 2.6.0 新特性

Apache Hadoop 2.6.0發布了，新的穩定版，發布頻率和質量愈來愈高了，增加了很多東西，從安裝包的大小就可以看出來，直接增加了50M，30%有木有。

下面看1下，2.6.0都有啥好東西。

Common：

1.      Hadoop Key Management Server（KMS）是1個基于HadoopKeyProvider API編寫的密鑰管理服務器。他提供了1個client和1個server組件，client和server之間基于HTTP協議使用REST API通訊。Client是1個KeyProvider的實現，使用KMS HTTP REST API與KMS交互。KMS和它的client有內置的安全機制，支持HTTP SPNEGO Kerberos認證和HTTPS安全傳輸。KMS是1個Java Web利用程序，運行在與Hadoop發行版綁定在1起的預先配置好的Tomcat服務器上。

2.      Tracing

HDFS⑸274增加了追蹤通過HDFS的要求的功能，此功能使用了開源的庫，HTrace。大家可以看1下HTrace，功能很強大，Cloudera開源出來的。

HDFS：

1.      Transparent Encryption，HDFS實現了1個透明的，端到真個加密方式。1旦配置了加密，從HDFS讀出數據解密和寫入數據加密的進程對用戶利用程序代碼帶來講都是透明的。加密進程是端到真個，這意味著數據只能在客戶端被加密解密。HDFS歷來不存儲，也不訪問未加密的數據和數據加密密鑰。這樣滿足了加密進程的兩個典型的需求：at-rest encryption（靜態加密，也就是說，數據持久化在像硬盤這樣的媒介上），in-transit encryption（在途加密，例如，當數據在網絡中傳輸的時候）。

2.      Storage SSD&& Memory。ArchivalStorage（檔案存儲器）是將計算能力與不斷增長的存儲能力分離。具有高密度低本錢的存儲但是計算能力較低的節點將變得可用，可以在集群中做冷存儲。增加更多的節點作為冷存儲可以提高集群的存儲能力，跟集群的計算能力無關。

MapReduce

這1部份主要是1些bug的修復和改進。增加了兩個新的新特，在2.5.2里已有所描寫了。這里在簡單看1下。

1.      ResourceManger Restart

2.      允許AM發送歷史事件信息到timeline server。

YARN

1.      NodeManager Restart：這個特性可使NodeManager在不丟失運行在節點中的活動的container的情況下重新啟動。

2.      Docker Container Executor：DockerContainer Executor（DCE）允許YARN NodeManager在Docker container中啟動YARN container。用戶可以指定他們想用來運行YARN container的Docker的鏡像。這些container提供了1個可以自定義的軟件環境，用戶的代碼可以運行在其中，與NodeManager運行的環境隔離。這些運行用戶代碼的container可以包括利用程序需要的特定的庫，它們可以具有與NodeManager不同版本的Perl，Python乃至是Java。事實上，這些container可以運行與NodeManager所在的OS不同版本的Linux。雖然YARN container必須定義運行Job所需的所有的環境和庫，但是NodeManager中的所有的東西都不會同享。

Docer為YARN提供了1致和隔離兩種模式，1致模式下，所有的YARN container將具有相同的軟件環境，在隔離模式下，不管物理機器安裝了甚么都不干擾。

生活不易，碼農辛苦
如果您覺得本網站對您的學習有所幫助,可以手機掃描二維碼進行捐贈