Google停用MapReduce，高調發布Cloud Dataflow

【編者按】Google I/O大會正在如火如荼的召開，一些重要的信息也被一一披露，Google技術基礎設施部高級副總裁UrsH?lzle在大會的主旨演講上表示，當數據規模達到數PB級字節，MapReduce處理起來將變得非常困難，他表示Google已經停用MapReduce幾年了，他們目前開發并發布了新的超大規模云分析系統Cloud Dataflow。本文來自DataCenterKnowledge。

免費訂閱“CSDN云計算”微信公眾號，實時掌握第一手云中消息！

CSDN作為國內最專業的云計算服務平臺，提供云計算、大數據、虛擬化、數據中心、OpenStack、CloudStack、Hadoop、Spark、機器學習、智能算法等相關云計算觀點，云計算技術，云計算平臺，云計算實踐，云計算產業資訊等服務。

以下為譯文：

2014谷歌I/O上的Google Cloud Platform和Cloud Dataflow

Google已經停用自己研發的，部署在服務器上，用以分析數據的MapReduce，轉而支持一個新的超大規模云分析系統Cloud Dataflow。 

MapReduce一直是服務器集群上做并行分布式計算的一個非常受歡迎的基礎架構和編程模型。它是被廣泛部署并已經成為很多公司商業產品的大數據基礎架構平臺Hadoop的基礎。

但是近日，這項技術已經不能處理谷歌想要分析的大量數據。技術基礎設施部高級副總裁UrsH?lzle表示，一旦數據規模達到數PB級字節，處理起來將變得非常困難。

“我們已經不再使用MapReduce?！盚?lzle在周三于舊金山舉行的谷歌I/O大會上發表主題演講時表示，公司已經在幾年前停止使用這個系統。

Cloud DataFlow，將作為一項服務提供給使用它們云服務的開發者，這些服務并沒有MapReduce的擴展限制。

“Cloud Dataflow是這近十年分析經驗的成果?！盚?lzle說，它將會比現存的所有的系統運行的更快，更易擴展。

“這是一個完全托管服務，它可以自動優化、部署、管理以及擴展。它使開發人員對批處理和流媒體服務能夠使用統一編程輕松地創建復雜的管道?！八硎?。

所有這些特點，谷歌認為在MapReduce上無法完成：很難迅速獲取數據，不能進行批處理和流處理，而且經常需要部署和運行MapReduce集群。

H?lzle在展示會上也宣布谷歌云平臺上其他一些新的服務：

• Cloud Save是一個API，它使應用程序能夠在云中或其他地方保存單個用戶的數據而不需要任何服務器端的編碼。 提供App Engine的PaaS用戶和提供Compute Engine的用戶都可以利用這特征構建App。
• Cloud Debugging 簡化了篩選出部署在云端的多臺服務器中的軟件缺陷的過程。
• Cloud Tracing 提供了不同群體（數據庫服務調用，例如等待時間）的延時統計數據以及分析報告。
• Cloud Monitoring 是一款與Stackdriver（谷歌5月份收購的一個云監控初創公司）集成的智能監控系統。該系統監控云基礎設施資源，如磁盤和虛擬機，還有一些為谷歌提供服務的服務等級以及十幾個非谷歌提供的開源軟件包。

原文鏈接：Google Dumps MapReduce in Favor of New Hyper-Scale Analytics System （編譯/曉曉 審校/魏偉）

生活不易，碼農辛苦
如果您覺得本網站對您的學習有所幫助,可以手機掃描二維碼進行捐贈