多多色-多人伦交性欧美在线观看-多人伦精品一区二区三区视频-多色视频-免费黄色视屏网站-免费黄色在线

國內最全IT社區平臺 聯系我們 | 收藏本站
阿里云優惠2
您當前位置:首頁 > 互聯網 > 一周熱點: Twitter的下一代分布式數據庫Manhattan

一周熱點: Twitter的下一代分布式數據庫Manhattan

來源:程序員人生   發布時間:2014-09-16 14:03:30 閱讀次數:4253次
作為世界上使用最廣泛的微博客服務,Twitter月活躍用戶如今已經超過2億人,每天大約有5億條推文被發送,在最初Twitter還沒有這么大數據量的時候,該公司主要使用一些主流的技術來處理這些數據,比如開源數據庫MySQL和Cassandra等,但隨著用戶量的飛速擴增,這些技術逐漸顯示出了一些瓶頸,已經達不到Twitter實時、低延遲的需求,基于目前需求及長遠考慮,Twitter開發了自己的分布式數據庫系統――Manhattan。Twitter表示,未來該系統可能會開源……

1. Manhattan,Twitter規模的實時、多租戶分布式數據庫

Twitter的實時特性導致當下任何開源系統都無法滿足其低延遲的需求。我們花費了大量時間來滿足不同產品的需求,提供新的存儲容量,耗費人力、流程以滿足使用需求。但是依照我們在Twitter規模下的開發運行生產存儲經驗,這種狀態是不可持續的。所有我們試圖構建下一代Twitter分布式系統――我們稱之為Manhattan 。Manhattan 不但需要滿足現有需求,還需要迎合未來潛在的需求,以下是設計目標: 
  • 保持核心精益和簡單 
  • 越早實現價值越高(專注于增量) 
  • 第一要義:多租戶,QoS,自助服務 
  • 關注可估性 
  • 存儲不只是一項技術,更是一個服務 


Manhattan 的主要特性。Manhattan 共分為如下 4 層:

  • 核心:這是存儲系統最關鍵的部分,需要高度穩定和強大,用來處理異常、一致性、路由、拓撲管理、數據中心區域內/跨區域復制、沖突解決等。核心中的關鍵組件完全可插拔。
  • 存儲引擎:目前有 3 個內部存儲引擎――seadb、sstable、btree
  • 存儲服務:在核心基礎上構建了更多傳統數據庫中包含的一些功能,比如:Hadoop 數據批量導入、強一致性服務、時間序列計數器服務
  • 接口:用于實現客戶與存儲系統的交互

支持多租戶――允許多個不同應用程序共享同一資源――這從一開始就是一個關鍵需求。Twitter先前使用的系統中,我們為每個特征構建外部集群。這增加了操作負擔,浪費資源,并且阻礙了客戶推出新功能的速度。允許多個用戶使用同一組群將增強運行系統的競爭力。我們現在必須要考慮隔離性,資源管理,多個用戶能力模型,速率限制,QoS以及配額等等。為了給客戶提供所需的可視性,我們設計了自己的速率限制服務來增強用戶對資源和配額的使用。

2. 孫元浩:基于Spark引擎的高速內存分析和挖掘工具應用

孫元浩,2003年加入英特爾,曾是英特爾亞太研發有限公司數據中心軟件部亞太區CTO,負責英特爾Hadoop發行版的研發和產品化工作。 2013年離開英特爾創辦星環科技,推出國內首個基于Spark的大數據平臺產品,在中國成功建立數個Spark成功案例。

孫元浩認為現在把Spark作為M/R執行引擎內嵌在我們的產品中,在兩大類應用實踐中比較成功,一類是通過PL/SQL進行交互式數據統計和分析,結合可視化工具為用戶提供了高速的大數據探索能力。另一類應用是做數據挖掘,因為Spark充分利用內存進行緩存,利用DAG消除不必要的步驟,所以比較合適做迭代式的運算。而有相當一部分機器學習算法是通過多次迭代收斂的算法,所以適合用Spark來實現。我們把一些常用的算法并行化用Spark實現,可以從R語言中方便地調用,降低了用戶進行數據挖掘的學習成本。

他表示Spark目前在技術上已經不存在大的困難了,我們已經在一些用戶的核心業務系統中部署我們自己的Spark版本,而且是7x24小時不間斷運行,穩定性已得到驗證。我們也把Spark成功地應用到數據倉庫中,無需編程幾乎全程可視化。如果說目前面臨的最大困難,主要是在客戶認知上,還需要更多的成功案例和技術推廣。

3. Redis大冒險:如何跳出SQL這個坑

隨著數據體積的激增,MySQL+memcache已經滿足不了大型互聯網類應用的需求,許多機構也紛紛選擇Redis作為其架構上的補充,然而Redis的使用門檻并不低,比如不支持SQL等,這里為大家分享Redis的使用全攻略。

Redis的一個重要特性就是它并非通常意義上的數據庫,雖然稱之為數據庫是因為它可以為你存儲和維護數據,但它并不像關系數據庫那樣提供任何的SQL方言。不過不用擔心,Redis并不是吞噬數據的黑洞,它只是不支持SQL及相關功能,但卻提供了穩健的協議用于與之交互。

Redis是基于key-value范式存儲數據,不像RDBMS中的字段名稱,這里的key是Redis中的重要組成部分,所以我們必須在處理key時多加小心。在下面的講述中,Redis并沒有table的概念,所以像"SELECT username from users WHERE user_id=123;"這種簡單任務都只能換種方式實現,為了達到這種目的,在Redis上,一種方式是通過key "user:123:username"來獲取結果value。如你所見,key的定義中攜帶了神秘信息(像user ids)。在Redis中,key的重要性可見一斑。

4. 搭建高可用的MongoDB集群(上):MongoDB的配置與副本集

NOSQL有以下優勢:

  • 大數據量,可以通過廉價服務器存儲大量的數據,輕松擺脫傳統mysql單表存儲量級限制。
  • 高擴展性,Nosql去掉了關系數據庫的關系型特性,很容易橫向擴展,擺脫了以往老是縱向擴展的詬病。
  • 高性能,Nosql通過簡單的key-value方式獲取數據,非常快速。還有NoSQL的Cache是記錄級的,是一種細粒度的Cache,所以NoSQL在這個層面上來說就要性能高很多。
  • 靈活的數據模型,NoSQL無需事先為要存儲的數據建立字段,隨時可以存儲自定義的數據格式。而在關系數據庫里,增刪字段是一件非常麻煩的事情。如果是非常大數據量的表,增加字段簡直就是一個噩夢。
  • 高可用,NoSQL在不太影響性能的情況,就可以方便的實現高可用的架構。比如mongodb通過mongos、mongo分片就可以快速配置出高可用配置。
                   

MongoDB是一個介于關系數據庫和非關系數據庫之間的產品,是非關系數據庫當中最像關系數據庫的。支持類似于面向對象的查詢語言,幾乎可以實現類似關系數據庫單表查詢的絕大部分功能,而且還支持對數據建立索引。所以這個非常方便,我們可以用sql操作MongoDB,從關系型數據庫遷移過來,開發人員學習成本會大大減少。如果再對底層的sql API做一層封裝,開發基本可以感覺不到mongodb和關系型數據庫的區別。同樣MongoDB也是號稱自己能夠快速搭建一個高可用可擴展的分布式集群。

5. 軟硬件協同創新,共建未來數據中心

2014年3月26日,LSI加速技術創新峰會(AIS)首次登陸中國,這也是LSI首次選擇在美國之外的地區召開峰會,本次峰會主題為“數據即商機”。參展的產品主要是針對數據中心的存儲解決方案,包括針對企業級大型數據中心的12 Gb/s SAS MegaRAID解決方案,針對中小企業的Syncro CS解決方案以及Nytro閃存解決方案,雖然沒有新品發布,每種解決方案對傳統存儲市場來說都是一場變革。


LSI公司CTO辦公室高級技術專家Robert Ober則將其進一步細化為數據中心三大硬件創新和六大趨勢,三大創新分別為:硬件的智能化、整個數據中心的可靠性以及大數據分析所需的分布式系統架構。六大趨勢分別為:

  • 數據中心開發時間不斷縮短,大幅增加了硬件廠商制定和實施計劃的難度。
  • 終端客戶尤其是大型數據中心客戶與硬件廠商直接對接。
  • 超大規模數據中心或云數據中心等新參與者加入數據中心市場。
  • 開源計劃。Open Compute和Open Stack等新型開源項目正在重新改寫數據中心架構 。
  • 新架構和新算法。
  • 市場變化。筆記本在從HDD轉向SSD;云端存儲對大容量HDD的需求在急劇增長等。
Inspur存儲產品線副總經理李瑞東和EMC新興技術閃存解決方案架構總監Mac Binesh共同介紹了由EMC ScaleIO、VMware和LSI支持的Inspur新一代融合基礎架構VDI設備,其中LSI Nytro閃存可降低存儲成本和復雜性,EMC ScaleIO是一種功能強大的純軟件解決方案,能夠利用應用主機上的本地磁盤構建可擴展至成千上萬個節點的虛擬SAN,軟硬件協同滿足客戶不斷提高的桌面虛擬化需求。

6. Dropbox推獨立應用,公司估值已達100億美元

4月9日云存儲服務商Dropbox發布數項新應用,如照片應用Carousel允許用戶瀏覽和共享存儲在云服務中的圖片。而移動電子郵件Mailbox的亮點是通過將重要附件保存在云服務中來減少垃圾郵件。該公司CEO德魯?休斯頓(Drew Houston)將公司的新舉措稱為開啟“第二篇章”,旨在發揮Dropbox的現有優勢,使用戶擁有更多理由忠誠于Dropbox 的云存儲服務。

前美國國務卿康多莉扎?賴斯 (Condoleezza Rice)也閃亮加盟Dropbox,成為公司第四位董事會成員。去年,賴斯經營的國際咨詢公司RiceHadleyGates一直在為Dropbox的管理提供咨詢。休斯頓(Drew Houston)表示,雖然其他企業的存儲服務價格更低,但僅Dropbox一家能夠實現文件在多個設備之間的同步。谷歌、微軟和蘋果雖都提供免費服務,但用戶只能在專屬這些企業的設備或應用中使用。Dropbox扮演著瑞士一般的中立國角色,可允許用戶將運行Windows系統的筆記本電腦上的文件,在 iPhone或Android平板中進行無縫更新。

7. 華為章宇:如何學習開源項目及Ceph的淺析

學習各種開源項目,已經成為很多朋友不可回避的工作內容了。筆者本人也是如此。在接觸并學習了若干個開源項目之后,筆者試圖對自己工作過程中的若干體會加以總結,以期對一些希望借鑒的朋友有所裨益。

  • 了解項目的基本概念、基本用途、邏輯結構、基本原理、產生背景、應用場景等基本知識。 
  • 掌握項目的基本安裝流程和使用方法。
  • 了解代碼的組織,找到各個主要邏輯/功能模塊與代碼文件之間的對應關系,通過代碼分析走通幾個關鍵的、有代表性的執行流程。 
  • 了解該項目所有代碼模塊、程序文件的作用,走通所有主要執行流程。 
  • 鉆研、領悟該項目的各種設計思想與代碼實現細節。 

作為OpenStack的人氣存儲技術之一,Ceph與Swift和GlusterFS一樣有著各自的優勢:GlusterFS更適合Hadoop類型的服務;Swift適合更多人訪問;Ceph的未來更被看好,并已得到許多知名機構的支持,比如CERN和天河2。

Ceph事實上是目前OpenStack生態系統中呼聲最高的開源存儲解決方案。這一點從筆者在OpenStack 2013 HongKong Summit上的親身體驗可以得到印證。目前,以HP、Dell、Intel等為代表的企業IT領導廠商,和以Mirantis、eNovance、United Stack為代表的若干OpenStack社區新興廠商,都將Ceph作為重要的乃至于首選的開源存儲解決方案,詳細內容請點擊 原文。

其他云計算熱點新聞: Hadoop集群環境下網絡架構的設計與優化、 CloudFoundry架構優化:NATS集群化方案、 EMC:大數據時代中對于數據保護的重新定義、 從火種到核心,淺析Hadoop大數據用戶的演變、 云計算戰爭:OpenStack vs. VMware,更多云資訊請繼續關注CSDN 云計算頻道 。(審校/仲浩)

以“  云計算大數據 推動智慧中國 ”為主題的  第六屆中國云計算大會 將于5月20-23日在北京國家會議中心隆重舉辦。產業觀察、技術培訓、主題論壇、行業研討,內容豐富,干貨十足。票價優惠,馬上  報名 ! 

生活不易,碼農辛苦
如果您覺得本網站對您的學習有所幫助,可以手機掃描二維碼進行捐贈
程序員人生
------分隔線----------------------------
分享到:
------分隔線----------------------------
關閉
程序員人生
主站蜘蛛池模板: aa级一级天堂片免费观看 | 香蕉乱码成人久久天堂爱免费 | 欧美性猛交xxxx乱大交 | 亚洲欧美日韩中文字幕网址 | jizz性欧美12| 中文字幕精品视频在线观看 | 性免费视频 | 欧美一区二区三区视频在线观看 | 好看欧美视频高清va | 欧美日本一区二区三区道 | 欧美做受 | 亚洲男人天堂2022 | 一级作爱视频免费观看 | 1区2区3区4区 | 欧美日韩a级a | 美女视频h| 久久93精品国产91久久综合 | 五月婷婷激情四射 | 国产一级精品绿帽视频 | 波多野结衣一区 | 国产永久免费爽视频在线 | xxxxx国产 | 成人在线观看免费爱爱 | 欧美色欧美亚洲另类二区精品 | 99久久精品一区二区三区 | 亚洲精品人成无码中文毛片 | 亚洲国产99在线精品一区二区 | 亚洲人成亚洲人成在线观看 | 欧美抽搐一进一进一出 | 欧美日韩成人在线观看 | 午夜dj影院在线观看免费视频中文 | 男人看的网址 | 亚洲第九十七页 | 影院福利 | aa级一级天堂片免费观看 | 五月花婷婷 | 日本一级高清不卡视频在线 | 婷婷免费视频 | japanese日本护士xxx爽 | 亚洲成a人片毛片在线 | 国产福利在线观看精品 |