Ceph淺析（上）：概況與設(shè)計(jì)思想

【編者按】Ceph，當(dāng)下已成為OpenStack上最通用的存儲(chǔ)之一，也是是目前人氣最高的開(kāi)源存儲(chǔ)項(xiàng)目之一。近日，擁有海量存儲(chǔ)領(lǐng)域工作經(jīng)驗(yàn)的華為@一棹凌煙基于現(xiàn)有資料文檔的學(xué)習(xí)思考，以及由此而來(lái)的心得體會(huì)，對(duì)Ceph進(jìn)行介紹與分析。文章內(nèi)容大致涵蓋Ceph的產(chǎn)生背景、設(shè)計(jì)思想、技術(shù)實(shí)現(xiàn)、主要特點(diǎn)、與OpenStack的聯(lián)系、與Swift的比較等等。

以下為原文：

Ceph的概況

本文將對(duì)Ceph的基本情況進(jìn)行概要介紹，以期讀者能夠在不涉及技術(shù)細(xì)節(jié)的情況下對(duì)Ceph建立一個(gè)初步印象。

1. 什么是Ceph？

Ceph的官方網(wǎng)站Ceph.com上用如下這句話簡(jiǎn)明扼要地定義了Ceph：

“Ceph is a unified, distributed storage system designed for excellent performance, reliability and scalability.”

也即，Ceph是一種為優(yōu)秀的性能、可靠性和可擴(kuò)展性而設(shè)計(jì)的統(tǒng)一的、分布式的存儲(chǔ)系統(tǒng)。應(yīng)該說(shuō)，這句話確實(shí)點(diǎn)出了Ceph的要義，可以作為理解Ceph系統(tǒng)設(shè)計(jì)思想和實(shí)現(xiàn)機(jī)制的基本出發(fā)點(diǎn)。在這個(gè)定義中，應(yīng)當(dāng)特別注意“存儲(chǔ)系統(tǒng)”這個(gè)概念的兩個(gè)修飾詞，即“統(tǒng)一的”和“分布式的”。

具體而言，“統(tǒng)一的”意味著Ceph可以一套存儲(chǔ)系統(tǒng)同時(shí)提供對(duì)象存儲(chǔ)、塊存儲(chǔ)和文件系統(tǒng)存儲(chǔ)三種功能，以便在滿足不同應(yīng)用需求的前提下簡(jiǎn)化部署和運(yùn)維。而“分布式的”在Ceph系統(tǒng)中則意味著真正的無(wú)中心結(jié)構(gòu)和沒(méi)有理論上限的系統(tǒng)規(guī)模可擴(kuò)展性。在實(shí)踐當(dāng)中，Ceph可以被部署于上千臺(tái)服務(wù)器上。截至2013年3月初，Ceph在生產(chǎn)環(huán)境下部署的最大規(guī)模系統(tǒng)為Dreamhost公司的對(duì)象存儲(chǔ)業(yè)務(wù)集群，其管理的物理存儲(chǔ)容量為3PB。

2. 為什么要關(guān)注Ceph？

事實(shí)上，Ceph并不是一個(gè)剛剛出現(xiàn)的開(kāi)源項(xiàng)目。與此相反，從最初發(fā)布到逐漸流行，Ceph走過(guò)了七年以上的漫長(zhǎng)路程。筆者以為，之所以應(yīng)當(dāng)對(duì)Ceph加以了解，其原因大致有兩個(gè)方面：

首先，Ceph本身確實(shí)具有較為突出的優(yōu)勢(shì)。

Ceph值得一提的優(yōu)勢(shì)頗多，包括統(tǒng)一存儲(chǔ)能力、可擴(kuò)展性、可靠性、性能、自動(dòng)化的維護(hù)等等。本質(zhì)上，Ceph的這些優(yōu)勢(shì)均來(lái)源于其先進(jìn)的核心設(shè)計(jì)思想，筆者將其概括為八個(gè)字――“無(wú)需查表，算算就好”。基于這種設(shè)計(jì)思想，Ceph充分發(fā)揮存儲(chǔ)設(shè)備自身的計(jì)算能力，同時(shí)消除了對(duì)系統(tǒng)單一中心節(jié)點(diǎn)的依賴(lài)，從而實(shí)現(xiàn)了真正的無(wú)中心結(jié)構(gòu)。基于這一設(shè)計(jì)思想和結(jié)構(gòu)，Ceph一方面實(shí)現(xiàn)了高度的可靠性和可擴(kuò)展性，另一方面保證了客戶端訪問(wèn)的相對(duì)低延遲和高聚合帶寬。通過(guò)后續(xù)內(nèi)容的介紹，讀者可以看到，Ceph幾乎所有優(yōu)秀特性的實(shí)現(xiàn)，都與這個(gè)核心設(shè)計(jì)思想有關(guān)。

其次，Ceph目前在OpenStack社區(qū)中備受重視。

OpenStack是目前最為流行的開(kāi)源云操作系統(tǒng)。而據(jù)筆者觀察，Ceph之所以在近一兩年間熱度驟升，其最為有力的推動(dòng)因素就是OpenStack社區(qū)的實(shí)際需求。目前而言，Ceph已經(jīng)成為OpenStack社區(qū)中呼聲最高的開(kāi)源存儲(chǔ)方案之一，其實(shí)際應(yīng)用主要涉及塊存儲(chǔ)和對(duì)象存儲(chǔ)，并且開(kāi)始向文件系統(tǒng)領(lǐng)域擴(kuò)展。這一部分的相關(guān)情況，在后續(xù)文章中也將進(jìn)行介紹。

3. Ceph的產(chǎn)生與發(fā)展

通常而言，開(kāi)源項(xiàng)目的來(lái)源有三：一是學(xué)校里的大牛作的課題，論文發(fā)夠然后開(kāi)源；二是企業(yè)里的大牛搞的產(chǎn)品，機(jī)緣巧合于是開(kāi)源；三是某些大牛突然顯靈，然后一票人跟著一起開(kāi)源。每一類(lèi)的例子都有不少，而不同起源的開(kāi)源項(xiàng)目也有著自身的不同特點(diǎn)。具體而言，第一類(lèi)項(xiàng)目的原理和技術(shù)上很可能頗有獨(dú)到之處，而Ceph就正在此列。相比之下，第二類(lèi)項(xiàng)目的設(shè)計(jì)實(shí)現(xiàn)很可能頗為成熟，并且在開(kāi)源之前或者開(kāi)源初期就獲得生產(chǎn)環(huán)境下的實(shí)際部署應(yīng)用機(jī)會(huì)。這種出身背景上的因素，對(duì)于一個(gè)開(kāi)源項(xiàng)目的后續(xù)發(fā)展很有可能產(chǎn)生影響。

言歸正傳。Ceph項(xiàng)目起源于其創(chuàng)始人Sage Weil在加州大學(xué)Santa Cruz分校攻讀博士期間的研究課題。項(xiàng)目的起始時(shí)間為2004年。在2006年的OSDI學(xué)術(shù)會(huì)議上，Sage發(fā)表了介紹Ceph的論文，并在該篇論文的末尾提供了Ceph項(xiàng)目的下載鏈接。由此，Ceph開(kāi)始廣為人知。

Ceph使用C++語(yǔ)言開(kāi)發(fā)。對(duì)于一個(gè)典型的強(qiáng)調(diào)性能的系統(tǒng)項(xiàng)目，這一選擇可以理解。

作為開(kāi)源項(xiàng)目，Ceph遵循LGPL協(xié)議。

根據(jù)Inktank官方網(wǎng)站上的信息，Cpeh的生態(tài)系統(tǒng)參加下圖：

不難看出，圖中列出的廠商或組織帶有明顯的云計(jì)算氣息。

隨著Ceph的熱度不斷增加，Sage Weil于 2011年創(chuàng)立了Inktank公司以主導(dǎo)Ceph的開(kāi)發(fā)和社區(qū)維護(hù)。目前，Ceph的發(fā)布周期為三個(gè)月。

4. Sage Weil其人其事

在展開(kāi)后續(xù)的技術(shù)討論之前，適度八卦Sage Weil的人生經(jīng)歷實(shí)在是很有必要，因?yàn)檫@位兄臺(tái)委實(shí)是 IT男青年中鳳毛麟角的在工程、研究、創(chuàng)業(yè)三個(gè)領(lǐng)域都有涉獵且都頗有建樹(shù)的神人。

Sage在工程上的能力自然不必多言，而他發(fā)表Ceph論文的OSDI也是計(jì)算機(jī)操作系統(tǒng)領(lǐng)域首屈一指的最高水平學(xué)術(shù)會(huì)議。至于創(chuàng)業(yè)方面，Sage是 DreamHost的聯(lián)合創(chuàng)始人，彼時(shí)是1997年，他剛上大學(xué)不久。。。有興趣的同學(xué)可以去LinkedIn研究一下Sage的個(gè)人簡(jiǎn)歷，基本上是想工作就工作，想上學(xué)就上學(xué)，想創(chuàng)業(yè)就創(chuàng)業(yè)，想讀博就讀博，隨心所欲，天馬行空，令人油然而生一種表示敬佩的沖動(dòng)。

Ceph的設(shè)計(jì)思想

分析開(kāi)源項(xiàng)目，時(shí)常遇到的一個(gè)問(wèn)題就是資料不足。有時(shí)間寫(xiě)代碼的大牛們通常是都是沒(méi)有時(shí)間或者根本不屑于寫(xiě)文檔的。而不多的文檔通常又是使用手冊(cè)之類(lèi)的東西。即便偶爾有設(shè)計(jì)文檔通常也是語(yǔ)焉不詳。在這種情況下，想從代碼里反向把設(shè)計(jì)思想提煉出來(lái)，畢竟不是人人都能做到的。

值得我們慶幸的是，Ceph是一個(gè)典型的起源于學(xué)術(shù)研究課題的開(kāi)源項(xiàng)目。雖然學(xué)術(shù)研究生涯對(duì)于Sage而言只是其光輝事跡的短短一篇，但畢竟還是有幾篇學(xué)術(shù)文獻(xiàn)可供參考。這也為我們提供了難得的，從頂層視角入手分析一個(gè)系統(tǒng)領(lǐng)域的優(yōu)秀開(kāi)源項(xiàng)目的機(jī)會(huì)。本篇文章的內(nèi)容也正是筆者閱讀這些文獻(xiàn)的心得體會(huì)。

1. Ceph針對(duì)的目標(biāo)應(yīng)用場(chǎng)景

理解Ceph的設(shè)計(jì)思想，首先還是要了解Sage設(shè)計(jì)Ceph時(shí)所針對(duì)的目標(biāo)應(yīng)用場(chǎng)景，換言之，“做這東西的目的是啥？”

事實(shí)上，Ceph最初針對(duì)的目標(biāo)應(yīng)用場(chǎng)景，就是大規(guī)模的、分布式的存儲(chǔ)系統(tǒng)。所謂“大規(guī)模”和“分布式”，是指至少能夠承載PB級(jí)別的數(shù)據(jù)，并且由成千上萬(wàn)的存儲(chǔ)節(jié)點(diǎn)組成。

在大數(shù)據(jù)口號(hào)深入人心的今天，PB已經(jīng)遠(yuǎn)遠(yuǎn)不是一個(gè)激動(dòng)人心的系統(tǒng)設(shè)計(jì)目標(biāo)了。但是，應(yīng)該指出，Ceph項(xiàng)目起源于04年。那是一個(gè)商用處理器以單核為主流，常見(jiàn)硬盤(pán)容量只有幾十GB的年代。這和現(xiàn)在動(dòng)輒6核12線程還要雙處理器、單塊硬盤(pán)3TB已經(jīng)司空見(jiàn)慣的情況是不可同日而語(yǔ)的。因此，理解這個(gè)設(shè)計(jì)目標(biāo)，應(yīng)該考慮當(dāng)時(shí)的實(shí)際情況。當(dāng)然，如前所述，Ceph的設(shè)計(jì)并沒(méi)有理論上限，所以PB級(jí)別并不是實(shí)際應(yīng)用的容量限制。

在Sage的思想中，對(duì)于這樣一個(gè)大規(guī)模的存儲(chǔ)系統(tǒng)，是不能以靜態(tài)的眼光來(lái)看待的。對(duì)于其動(dòng)態(tài)特性，筆者概括為如下三個(gè)“變化”：

1. 存儲(chǔ)系統(tǒng)規(guī)模的變化：這樣大規(guī)模的存儲(chǔ)系統(tǒng)，往往不是在建設(shè)的第一天就能預(yù)料到其最終的規(guī)模，甚至是根本就不存在最終規(guī)模這個(gè)概念的。只能是隨著業(yè)務(wù)的不斷開(kāi)展，業(yè)務(wù)規(guī)模的不斷擴(kuò)大，讓系統(tǒng)承載越來(lái)越大的數(shù)據(jù)容量。這也就意味系統(tǒng)的規(guī)模自然隨之變化，越來(lái)越大。
2. 存儲(chǔ)系統(tǒng)中設(shè)備的變化：對(duì)于一個(gè)由成千上萬(wàn)個(gè)節(jié)點(diǎn)構(gòu)成的系統(tǒng)，其節(jié)點(diǎn)的故障與替換必然是時(shí)常出現(xiàn)的情況。而系統(tǒng)一方面要足夠可靠，不能使業(yè)務(wù)受到這種頻繁出現(xiàn)的硬件及底層軟件問(wèn)題的影響，同時(shí)還應(yīng)該盡可能智能化，降低相關(guān)維護(hù)操作的代價(jià)。
3. 存儲(chǔ)系統(tǒng)中數(shù)據(jù)的變化：對(duì)于一個(gè)大規(guī)模的，通常被應(yīng)用于互聯(lián)網(wǎng)應(yīng)用中的存儲(chǔ)系統(tǒng)，其中存儲(chǔ)的數(shù)據(jù)的變化也很可能是高度頻繁的。新的數(shù)據(jù)不斷寫(xiě)入，已有數(shù)據(jù)被更新、移動(dòng)乃至刪除。這種場(chǎng)景需求也是設(shè)計(jì)時(shí)必須予以考慮的。

上述三個(gè)“變化”就是Ceph目標(biāo)應(yīng)用場(chǎng)景的關(guān)鍵特征。Ceph所具備的各種主要特性，也都是針對(duì)這些場(chǎng)景特征所提出的。

2. 針對(duì)目標(biāo)應(yīng)用場(chǎng)景所提出的預(yù)期技術(shù)特性

針對(duì)上述應(yīng)用場(chǎng)景，Ceph在設(shè)計(jì)之初的幾個(gè)技術(shù)特性是：

1. 高可靠性。所謂“高可靠”，首先是針對(duì)存儲(chǔ)在系統(tǒng)中的數(shù)據(jù)而言，也即，盡可能保證數(shù)據(jù)不會(huì)丟失。其次，也包括數(shù)據(jù)寫(xiě)入過(guò)程中的可靠性，也即，在用戶將數(shù)據(jù)寫(xiě)入Ceph存儲(chǔ)系統(tǒng)的過(guò)程中，不會(huì)因?yàn)橐馔馇闆r的出現(xiàn)造成數(shù)據(jù)丟失。
2. 高度自動(dòng)化。具體包括了數(shù)據(jù)的自動(dòng)replication，自動(dòng)re-balancing，自動(dòng)failure detection和自動(dòng)failure recovery。總體而言，這些自動(dòng)化特性一方面保證了系統(tǒng)的高度可靠，一方面也保障了在系統(tǒng)規(guī)模擴(kuò)大之后，其運(yùn)維難度仍能保持在一個(gè)相對(duì)較低的水平。
3. 高可擴(kuò)展性。這里的“可擴(kuò)展”概念比較廣義，既包括了系統(tǒng)規(guī)模和存儲(chǔ)容量的可擴(kuò)展，也包括了隨著系統(tǒng)節(jié)點(diǎn)數(shù)增加的聚合數(shù)據(jù)訪問(wèn)帶寬的線性擴(kuò)展，還包括了基于功能豐富強(qiáng)大的底層API提供多種功能、支持多種應(yīng)用的功能性可擴(kuò)展。

3. 針對(duì)預(yù)期技術(shù)特性所提出的設(shè)計(jì)思路

針對(duì)3.2節(jié)中介紹的預(yù)期技術(shù)特性，Sage對(duì)于Ceph的設(shè)計(jì)思路基本上可以概括為以下兩點(diǎn)：

1. 充分發(fā)揮存儲(chǔ)設(shè)備自身的計(jì)算能力。事實(shí)上，采用具有計(jì)算能力的設(shè)備（最簡(jiǎn)單的例子就是普通的服務(wù)器）作為存儲(chǔ)系統(tǒng)的存儲(chǔ)節(jié)點(diǎn)，這種思路即便在當(dāng)時(shí)來(lái)看也并不新鮮。但是，Sage認(rèn)為這些已有系統(tǒng)基本上都只是將這些節(jié)點(diǎn)作為功能簡(jiǎn)單的存儲(chǔ)節(jié)點(diǎn)。而如果充分發(fā)揮節(jié)點(diǎn)上的計(jì)算能力，則可以實(shí)現(xiàn)前面提出的預(yù)期特性。這一點(diǎn)成為了Ceph系統(tǒng)設(shè)計(jì)的核心思想。
2. 去除所有的中心點(diǎn)。一旦系統(tǒng)中出現(xiàn)中心點(diǎn)，則一方面引入單點(diǎn)故障點(diǎn)，另一方面也必然面臨當(dāng)系統(tǒng)規(guī)模擴(kuò)大時(shí)的規(guī)模和性能瓶頸。除此之外，如果中心點(diǎn)出現(xiàn)在數(shù)據(jù)訪問(wèn)的關(guān)鍵路徑上，事實(shí)上也比然導(dǎo)致數(shù)據(jù)訪問(wèn)的延遲增大。而這些顯然都是Sage所設(shè)想的系統(tǒng)中不應(yīng)該出現(xiàn)的問(wèn)題。雖然在大多數(shù)系統(tǒng)的工程實(shí)踐中，單點(diǎn)故障點(diǎn)和性能瓶頸的問(wèn)題可以通過(guò)為中心點(diǎn)增加備份加以緩解，但Ceph系統(tǒng)最終采用創(chuàng)新的方法更為徹底地解決了這個(gè)問(wèn)題。

4. 支撐設(shè)計(jì)思路實(shí)現(xiàn)的關(guān)鍵技術(shù)創(chuàng)新

無(wú)論多么新穎奇妙的設(shè)計(jì)思路，最終落地必定需要有技術(shù)實(shí)力的支撐。而這也正是Ceph最為閃亮的地方。

Ceph最為核心的技術(shù)創(chuàng)新就是前面所概括的八個(gè)字――“無(wú)需查表，算算就好”。一般而言，一個(gè)大規(guī)模分布式存儲(chǔ)系統(tǒng)，必須要能夠解決兩個(gè)最基本的問(wèn)題：

一是“我應(yīng)該把數(shù)據(jù)寫(xiě)入到什么地方”。對(duì)于一個(gè)存儲(chǔ)系統(tǒng)，當(dāng)用戶提交需要寫(xiě)入的數(shù)據(jù)時(shí)，系統(tǒng)必須迅速?zèng)Q策，為數(shù)據(jù)分配一個(gè)存儲(chǔ)位置和空間。這個(gè)決策的速度影響到數(shù)據(jù)寫(xiě)入延遲，而更為重要的是，其決策的合理性也影響著數(shù)據(jù)分布的均勻性。這又會(huì)進(jìn)一步影響存儲(chǔ)單元壽命、數(shù)據(jù)存儲(chǔ)可靠性、數(shù)據(jù)訪問(wèn)速度等后續(xù)問(wèn)題。

二是“我之前把數(shù)據(jù)寫(xiě)到什么地方去了”。對(duì)于一個(gè)存儲(chǔ)系統(tǒng)，高效準(zhǔn)確的處理數(shù)據(jù)尋址問(wèn)題也是基本能力之一。

針對(duì)上述兩個(gè)問(wèn)題，傳統(tǒng)的分布式存儲(chǔ)系統(tǒng)常用的解決方案是引入專(zhuān)用的服務(wù)器節(jié)點(diǎn)，在其中存儲(chǔ)用于維護(hù)數(shù)據(jù)存儲(chǔ)空間映射關(guān)系的數(shù)據(jù)結(jié)構(gòu)。在用戶寫(xiě)入/訪問(wèn)數(shù)據(jù)時(shí)，首先連接這一服務(wù)器進(jìn)行查找操作，待決定/查到數(shù)據(jù)實(shí)際存儲(chǔ)位置后，再連接對(duì)應(yīng)節(jié)點(diǎn)進(jìn)行后續(xù)操作。由此可見(jiàn)，傳統(tǒng)的解決方案一方面容易導(dǎo)致單點(diǎn)故障和性能瓶頸，另一方面也容易導(dǎo)致更長(zhǎng)的操作延遲。

針對(duì)這一問(wèn)題，Ceph徹底放棄了基于查表的數(shù)據(jù)尋址方式，而改用基于計(jì)算的方式。簡(jiǎn)言之，任何一個(gè)Ceph存儲(chǔ)系統(tǒng)的客戶端程序，僅僅使用不定期更新的少量本地元數(shù)據(jù)，加以簡(jiǎn)單計(jì)算，就可以根據(jù)一個(gè)數(shù)據(jù)的ID決定其存儲(chǔ)位置。對(duì)比之后可以看出，這種方式使得傳統(tǒng)解決方案的問(wèn)題一掃而空。Ceph的幾乎所有優(yōu)秀特性都是基于這種數(shù)據(jù)尋址方式實(shí)現(xiàn)的。

原文連接：

“Ceph淺析”系列之二――Ceph概況

“Ceph淺析”系列之三――Ceph的設(shè)計(jì)思想

---

以“ 云計(jì)算大數(shù)據(jù) 推動(dòng)智慧中國(guó) ”為主題的  第六屆中國(guó)云計(jì)算大會(huì) 將于5月20-23日在北京國(guó)家會(huì)議中心隆重舉辦。產(chǎn)業(yè)觀察、技術(shù)培訓(xùn)、主題論壇、行業(yè)研討，內(nèi)容豐富，干貨十足。票價(jià)優(yōu)惠，馬上  報(bào)名 ！