1. Manhattan,Twitter規模的實時、多租戶分布式數據庫
Twitter的實時特性導致當下任何開源系統都無法滿足其低延遲的需求。我們花費了大量時間來滿足不同產品的需求,提供新的存儲容量,耗費人力、流程以滿足使用需求。但是依照我們在Twitter規模下的開發運行生產存儲經驗,這種狀態是不可持續的。所有我們試圖構建下一代Twitter分布式系統――我們稱之為Manhattan 。Manhattan 不但需要滿足現有需求,還需要迎合未來潛在的需求,以下是設計目標:
Manhattan 的主要特性。Manhattan 共分為如下 4 層:
支持多租戶――允許多個不同應用程序共享同一資源――這從一開始就是一個關鍵需求。Twitter先前使用的系統中,我們為每個特征構建外部集群。這增加了操作負擔,浪費資源,并且阻礙了客戶推出新功能的速度。允許多個用戶使用同一組群將增強運行系統的競爭力。我們現在必須要考慮隔離性,資源管理,多個用戶能力模型,速率限制,QoS以及配額等等。為了給客戶提供所需的可視性,我們設計了自己的速率限制服務來增強用戶對資源和配額的使用。
孫元浩,2003年加入英特爾,曾是英特爾亞太研發有限公司數據中心軟件部亞太區CTO,負責英特爾Hadoop發行版的研發和產品化工作。 2013年離開英特爾創辦星環科技,推出國內首個基于Spark的大數據平臺產品,在中國成功建立數個Spark成功案例。
孫元浩認為現在把Spark作為M/R執行引擎內嵌在我們的產品中,在兩大類應用實踐中比較成功,一類是通過PL/SQL進行交互式數據統計和分析,結合可視化工具為用戶提供了高速的大數據探索能力。另一類應用是做數據挖掘,因為Spark充分利用內存進行緩存,利用DAG消除不必要的步驟,所以比較合適做迭代式的運算。而有相當一部分機器學習算法是通過多次迭代收斂的算法,所以適合用Spark來實現。我們把一些常用的算法并行化用Spark實現,可以從R語言中方便地調用,降低了用戶進行數據挖掘的學習成本。
他表示Spark目前在技術上已經不存在大的困難了,我們已經在一些用戶的核心業務系統中部署我們自己的Spark版本,而且是7x24小時不間斷運行,穩定性已得到驗證。我們也把Spark成功地應用到數據倉庫中,無需編程幾乎全程可視化。如果說目前面臨的最大困難,主要是在客戶認知上,還需要更多的成功案例和技術推廣。
隨著數據體積的激增,MySQL+memcache已經滿足不了大型互聯網類應用的需求,許多機構也紛紛選擇Redis作為其架構上的補充,然而Redis的使用門檻并不低,比如不支持SQL等,這里為大家分享Redis的使用全攻略。
Redis的一個重要特性就是它并非通常意義上的數據庫,雖然稱之為數據庫是因為它可以為你存儲和維護數據,但它并不像關系數據庫那樣提供任何的SQL方言。不過不用擔心,Redis并不是吞噬數據的黑洞,它只是不支持SQL及相關功能,但卻提供了穩健的協議用于與之交互。
Redis是基于key-value范式存儲數據,不像RDBMS中的字段名稱,這里的key是Redis中的重要組成部分,所以我們必須在處理key時多加小心。在下面的講述中,Redis并沒有table的概念,所以像"SELECT username from users WHERE user_id=123;"這種簡單任務都只能換種方式實現,為了達到這種目的,在Redis上,一種方式是通過key "user:123:username"來獲取結果value。如你所見,key的定義中攜帶了神秘信息(像user ids)。在Redis中,key的重要性可見一斑。
NOSQL有以下優勢:
2014年3月26日,LSI加速技術創新峰會(AIS)首次登陸中國,這也是LSI首次選擇在美國之外的地區召開峰會,本次峰會主題為“數據即商機”。參展的產品主要是針對數據中心的存儲解決方案,包括針對企業級大型數據中心的12 Gb/s SAS MegaRAID解決方案,針對中小企業的Syncro CS解決方案以及Nytro閃存解決方案,雖然沒有新品發布,每種解決方案對傳統存儲市場來說都是一場變革。
LSI公司CTO辦公室高級技術專家Robert Ober則將其進一步細化為數據中心三大硬件創新和六大趨勢,三大創新分別為:硬件的智能化、整個數據中心的可靠性以及大數據分析所需的分布式系統架構。六大趨勢分別為:
4月9日云存儲服務商Dropbox發布數項新應用,如照片應用Carousel允許用戶瀏覽和共享存儲在云服務中的圖片。而移動電子郵件Mailbox的亮點是通過將重要附件保存在云服務中來減少垃圾郵件。該公司CEO德魯?休斯頓(Drew Houston)將公司的新舉措稱為開啟“第二篇章”,旨在發揮Dropbox的現有優勢,使用戶擁有更多理由忠誠于Dropbox 的云存儲服務。
前美國國務卿康多莉扎?賴斯 (Condoleezza Rice)也閃亮加盟Dropbox,成為公司第四位董事會成員。去年,賴斯經營的國際咨詢公司RiceHadleyGates一直在為Dropbox的管理提供咨詢。休斯頓(Drew Houston)表示,雖然其他企業的存儲服務價格更低,但僅Dropbox一家能夠實現文件在多個設備之間的同步。谷歌、微軟和蘋果雖都提供免費服務,但用戶只能在專屬這些企業的設備或應用中使用。Dropbox扮演著瑞士一般的中立國角色,可允許用戶將運行Windows系統的筆記本電腦上的文件,在 iPhone或Android平板中進行無縫更新。
作為OpenStack的人氣存儲技術之一,Ceph與Swift和GlusterFS一樣有著各自的優勢:GlusterFS更適合Hadoop類型的服務;Swift適合更多人訪問;Ceph的未來更被看好,并已得到許多知名機構的支持,比如CERN和天河2。
Ceph事實上是目前OpenStack生態系統中呼聲最高的開源存儲解決方案。這一點從筆者在OpenStack 2013 HongKong Summit上的親身體驗可以得到印證。目前,以HP、Dell、Intel等為代表的企業IT領導廠商,和以Mirantis、eNovance、United Stack為代表的若干OpenStack社區新興廠商,都將Ceph作為重要的乃至于首選的開源存儲解決方案,詳細內容請點擊 原文。
其他云計算熱點新聞: Hadoop集群環境下網絡架構的設計與優化、 CloudFoundry架構優化:NATS集群化方案、 EMC:大數據時代中對于數據保護的重新定義、 從火種到核心,淺析Hadoop大數據用戶的演變、 云計算戰爭:OpenStack vs. VMware,更多云資訊請繼續關注CSDN 云計算頻道 。(審校/仲浩)
以“
云計算大數據 推動智慧中國 ”為主題的
第六屆中國云計算大會 將于5月20-23日在北京國家會議中心隆重舉辦。產業觀察、技術培訓、主題論壇、行業研討,內容豐富,干貨十足。票價優惠,馬上
報名 !
上一篇 AWS證書考試的新模擬題庫
下一篇 我從獨立游戲開發學到的6件事兒