【編者按】Apache Mesos是由加州大學伯克利分校的AMPLab首先開發的一款開源群集管理軟件,支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等架構,由于其開源性質越來越受到一些大型云計算公司的青睞,例如Twitter、Facebook等。Mesosphere是圍繞Mesos開展商業活動的初創公司,發展勢頭迅猛,Gigaom最近的報道介紹了這家公司。
以下為譯文:
Mesosphere的愿景,就是讓應用程序和服務易發布、易擴展,總是能獲得所需要的資源。這正是Google、Facebook、Twitter這種規模的公司內部數據中心用來自動化管理服務器的技術。
Mesosphere所基于的技術是Mesos,是最初由加州大學伯克利分校的AMPLab開發的一款開源資源管理系統,現在已經是Apache軟件基金會的項目。最大的用戶有Twitter和Airbnb,他們用它來實現和谷歌類似的數據中心自動化,谷歌是通過自己聲名遠揚的Borg系統建造的。這些公司可以隨時推出新的應用程序而忽略崩潰的服務器。
這是因為在Mesos,資源都是一個大共享池的一部分,系統被設計用來確保服務的可獲取性。如果服務器崩潰了,系統管理員不需要在半夜醒來處理。開發人員也不必關心構建高可用性應用程序的復雜性。如果一臺服務器發生故障,它的工作負載可以自動遷移到別的地方。
Florian Leibert
走進Mesosphere
現在,Mesosphere正試圖將Mesos打造成主流的群集管理軟件。它提高了從風險投資公司Andreessen Horowitz, Kleiner Perkins, Foundation Capital, Data Collective 以及 Fuel Capital的種子資金。公司的創始人兼首席執行官、前Twitter和Airbnb工程師Florian Leibert形容Mesosphere的技術為“通向未來分布式應用程序的路。”
除了Mesos,Mesosphere堆棧的另外兩個關鍵組件是Chronos和
Marathon 。我們之前討論了(2013年9月Mesosphere 開源Marathonin),可簡單解釋為:Chronos是一個在Mesos上運行和管理計劃任務的框架,比如Hadoop任務。Marathon是一個用于啟動長時間運行應用程序和服務(包括Chronos或者Mesos實例)的框架。
Leibert在最近在舊金山的公司總部的一次采訪中解釋道:
Marathon就像PaaS……在Mesos上,作為一個整體――Mesos API,Chronos和Marathon――Mesosphere 將允許企業建立自己的Heroku。
Mesosphere 堆棧
Leibert說,營銷軟件初創公司HubSpot在去年夏末開始使用Mesos,而且已經在上面運行約200個不同的服務,許多用戶可使用它運行流行的大數據框架和服務,比如Hadoop、ElasticSearch、Spark、Storm 和Kafka。Airbnb在Mesos上運行Facebook建立的 SQL-on-Hadoop查詢引擎Presto。在2月中旬,Mesosphere 發布Mesos上Cassandra數據庫集群教程。
一個全新的云?
但直到公司發布商業版軟件,Leibert說Mesosphere 的目標是發展Mesos社區(偶爾對大用戶提供商業支持)。如果有足夠多的公司開始使用Mesos管理自己的服務器池或集群,這將在IT領域產生重大的影響,包括幫助企業重新考慮云計算是如何實現的。
在這個從服務到客戶都是分布式的時代,傳統的應用程序架構越來越不合時宜。例如,像VMware這樣的公司的服務器虛擬化被證明是一個非常成功的技術,但不是一個變革。你可以把更多的應用程序填滿到單一服務器,但是像Google數據中心虛擬化管理工具并不容易使用,通常也不便宜,當然設計時沒有考慮到下一代的軟件。
在公有云,用戶和分析師一直在呼吁提高可移植性,因為Mesos用戶針對Mesos API編程,他們可以跨任何Linux節點池運行――物理服務器、虛擬機或云實例。以Airbnb公司為例,其業務運行在AWS上,但是無論是更換云供應商還是遷移業務到內部,它們的體驗是一樣的,因為Mesos和Marathon可以在它運行的任何地方啟動服務和管理。
Rails 在 Marathon運行的截圖
Mesosphere 已經創建了一個免費的工具 Elastic Mesos ,人們可以在亞馬遜云上使用它。Leibert說,因為切換到Mesos以及提高資源利用率,HubSpot已經削減高達50%(不超過50%)的月度AWS費用。
當人們談論像谷歌或Facebook一樣運行,他們主要談論這樣的自動化和效率。Mesos采用Google、Facebook等大型網絡公司更喜歡的開源硬件設計看起來能更好地幫助企業。
挑戰
雖然Mesos的勢頭迅猛,但Mesopshere面臨更艱巨的任務,可能最終不得不說服一些公司為商業軟件和支持支付費用,更令人擔憂的是能否讓主流企業確信他們真的和谷歌一樣有效運行。
其他公司過去十年也曾做過類似的嘗試,但Mesosphere 有開源的支持。NoSQL、Hadoop、Linux、Xen和KVM的成功之后,在其他項目中,開源軟件現在如日中天,也許這足以實現自動化的夢想。
原文鏈接: Mesosphere thinks everyone’s servers should run like Twitter’s do, and it’s here to help
(編譯/魏偉 審校/毛夢琪)
上一篇 Redis集群方案及實現