Per Brashers：智能、能耗、安全將是未來數(shù)據(jù)中心發(fā)展的關鍵！

近幾年的數(shù)據(jù)中心領域可謂風起云涌，一些新的技術、解決方案接連而至。對于用戶來說，開展數(shù)據(jù)中心建設時，要解決數(shù)據(jù)量暴漲下所面臨的諸多問題，核心在于三點：“快、簡、穩(wěn)”。但在實際應用中，傳統(tǒng)數(shù)據(jù)中心往往顯得力不從心，用戶也會面臨許多新的問題。從哪些方面具體體現(xiàn)出來的呢?

第六屆中國云計算大會已邀前Facebook的存儲負責人，OCP創(chuàng)始成員PerBrashers為數(shù)據(jù)中心的融合架構與存儲專題論壇演講嘉賓，給我們分享相關內(nèi)容。點擊報名！

PerBrashers，現(xiàn)Yttibrium公司創(chuàng)始人。2012年1月至2013年8月，Per任DataDirectNetworks公司存儲解決方案部門的總技術架構師。2011年5月至2012年11月，Per總管Facebook的整個存儲部門。

Per曾在EMC任職11年。2010年6月至2011年5月，Per擔任EMC公司備份和數(shù)據(jù)恢復領域的高級技術專家，為客戶的復雜難題設計了解決方案。2006年11月-2010年6月，Per作為EMCNAS工程設計部門的總監(jiān)，率領MPFS開發(fā)團隊實現(xiàn)了1億美元的營收。2000年1月-2006年11月，Per擔任EMC公司美國西部面向客戶的技術商務顧問。

關于PerBrashers

Per是一位極具遠見的存儲戰(zhàn)略家。他發(fā)明創(chuàng)造了若干對業(yè)界具有深遠影響的存儲平臺，其中包括用于Facebook引領的OpenComputeProject系統(tǒng)下的OpenVault及ColdStorage解決方案。他設計了多個適用于數(shù)據(jù)中心中的互聯(lián)系統(tǒng)。Per還是pNFS-Block的作者，也是現(xiàn)今最快的Hadoop存儲陣列系統(tǒng)的架構師。Per還將傳統(tǒng)的3X復制策略轉化為糾刪碼（erasurecode）的存儲方案，從而最大化使用效率。

Per的名下共擁有21項（含待發(fā)）專利發(fā)明，多數(shù)在存儲領域，擅長解決存儲及存儲網(wǎng)絡連接、數(shù)據(jù)塊、文件及對象存儲等方面的問題，并擅長于利用糾刪碼來實現(xiàn)數(shù)據(jù)分布，彈性調(diào)度及提升效率。Per在刪除重復存儲以降低存儲成本方面也是專家。他善于將用戶的需要轉化為切實可行的執(zhí)行方案，專長于在Hadoop及BigData應用領域的性能改善。他身兼數(shù)任，工作在NAS、SAN、IP網(wǎng)絡連接、備份及恢復方案、應用性能分析等多個領域，并兼負標準起草/編輯、難題專家、發(fā)明人等多重身份。

Per的興趣與關注點還不僅限于此，他竭力為了改善人們的居住環(huán)境獻計獻策，如為住家提供空氣效能方面的的相關發(fā)明作出了不懈努力。Per的業(yè)余愛好之一是有機種植，同時也是一位家庭啤酒釀造師，曾獲得UCDavis釀酒科學的榮譽碩士學位。同時，Per還在不斷學習改進其葡萄酒釀造技藝！

OCP目前的發(fā)展

OpenCompute項目創(chuàng)立時的初衷是什么？

OCP的目標很簡單：最大化創(chuàng)新，降低運營復雜度，并將數(shù)據(jù)中心客戶與解決方案的供應商連接起來。通過將硬件設計開源化，我們力爭作出契合需求的解決方案，而不僅僅是滿足合同規(guī)定的產(chǎn)品。開源的其他好處還包括可以從多個來源來獲取組件，降低供應鏈的風險，通過采用開放的標準來平衡模塊化與定制化兩方面的需求。

作為OCP的創(chuàng)始人之一，你認為眼下OCP是在遵循當初的設計路線在發(fā)展嗎？

答案是肯定的。盡管管理層有一些變動，但是以超高效計算和存儲的終極目標作為設計者群體的指導原則，這一點依然是核心宗旨。

迄今OCP已經(jīng)取得了哪些進展？

OCP已經(jīng)在許多領域取得了進展，有制造商在提供更好的產(chǎn)品，也有用戶直接采納了OCP原有設計或者適當改動以滿足自己需求等等。同時，OCP提交方案的品質也有了轉變，早期大家認為硬件是某些公司的“秘密武器”，因此只提供一些產(chǎn)品規(guī)格。但是現(xiàn)在市場已經(jīng)成熟起來，出現(xiàn)了一些真正可量產(chǎn)方案并在市場上形成競爭。。開源軟件和開源硬件之間的區(qū)別也很有意思。在軟件的世界里，個人是提交貢獻的主體，因此軟件開發(fā)的質量差異巨大。在開源硬件領域，則是以公司為主導，由于這些公司已經(jīng)具備了全面的質量保證體系，因此提交的設計方案總體而言經(jīng)過了良好的測試，可以直接采用。

我們看到中國有服務器定制化的趨勢。你了解中國的天蝎計劃嗎？你對天蝎計劃怎么看？

有關天蝎計劃的公開信息很少，但看上去大家的目標是相近的。部件的分離解耦合，通用構建塊驅動的復用，有效消減運營成本，以機架作為基礎設施等等。這些都是與OpenCompute共同的元素。

數(shù)據(jù)中心面臨的挑戰(zhàn)及應對措施

據(jù)你觀察，Google，F(xiàn)acebook和Amazon等超大規(guī)模數(shù)據(jù)中心當前最大的數(shù)據(jù)存儲方面的挑戰(zhàn)是什么？

有幾種途徑來解決因規(guī)模大而產(chǎn)生的數(shù)據(jù)挑戰(zhàn)。但是，首先必須先就要解決的問題達成共識。如果把問題分解成三個獨立的部分，逐個研究，我認為會簡單許多。第一個部分我們稱之為前端，其中包括用戶將會直接接觸到的所有服務。第二個部分我們稱之為決策支持，即前端服務所依賴的那些服務。第三個部分我們稱之為后端，包括了企業(yè)試圖從前端服務獲利而做的所有工作。

前端主要要求高性能和實時的反應。視頻等多媒體是一個例外，因為在已歸檔的富媒體應用中，可能訪問第一個字節(jié)需要等待，但只要該應用能夠將剩下的內(nèi)容順暢無阻礙地播放就可以接受。這一層的主機主要是基于閃存，包括數(shù)據(jù)庫到高速緩存到網(wǎng)頁瀏覽等。

在決策支撐層面，采用的主要是分析及廣告服務。這些服務可能是實時任務，或者因公司商業(yè)模式而異的批量處理服務。通過使用Hadoop，所有的數(shù)據(jù)都可以利用特定的工作模式產(chǎn)生出及時的響應，就像流水線的加工系統(tǒng)。還有諸如站點之間的復制等其他業(yè)務都在此進行，因此公司的資金投入有一大部分用在這一層。

在后端則是公司實現(xiàn)盈利的一環(huán)，包括帳務、審計等此類平凡而重要的業(yè)務都產(chǎn)生于此。數(shù)據(jù)到達這一層時，大部分加工處理的工作都已經(jīng)完成，都已經(jīng)預先打包成了容易理解消化的報告、指標等，因此，這一層的關注點是核實數(shù)據(jù)的完整性，并為網(wǎng)絡的其他合作方提供相關的數(shù)據(jù)。

這些公司采取了什么舉措來應對這些挑戰(zhàn)？

早年我們的目標很簡單，基本上是“將任務移向數(shù)據(jù)”。隨后我們見證了規(guī)模龐大的數(shù)據(jù)的產(chǎn)生，數(shù)據(jù)變得無處不在，結果是移動任務實際上成為了在多個節(jié)點上復制任務。從效率的角度來看，這是一場災難，因為這意味著遠多于從前數(shù)量的CPU、內(nèi)存和網(wǎng)絡都用來做這些工作了。后來，我們改弦更張，“從節(jié)點選擇數(shù)據(jù)再緩存”的想法出現(xiàn)了。早期主機都帶有幾個硬盤以及很多CPU/內(nèi)存，所有節(jié)點都差不多。而今，我們看到有很多形態(tài)各異的設計，數(shù)據(jù)節(jié)點帶有很多盤、基于小處理器，而請求節(jié)點則基于閃存、只管數(shù)據(jù)處理。這些嶄新而龐大的節(jié)點將結果傳送到一個獨立的存儲中，以備將來上報或分析。特定節(jié)點配備特定功能的趨勢引發(fā)了許多發(fā)明，也減輕了基礎設施方面的很多負擔。舉例來說，傳統(tǒng)的數(shù)據(jù)保護的三重備份用了三份CPU、內(nèi)存、網(wǎng)絡以及存儲資源。而今天的純數(shù)據(jù)節(jié)點在本地就得到了保護，糾刪碼則用來應對一切臨時斷電，只需一半的設備，就可以提供更佳的可用性、降低成本、提高數(shù)據(jù)耐久性。

在中國的數(shù)據(jù)中心里，冷存儲是一個更受到關注、更引發(fā)討論的話題，你對處理冷數(shù)據(jù)和成本控制方面有何建議？

冷存儲有很多不同種類，也有很多各異的訪問模式，我們需要對此達成一致。比如說，你要將三個備份中的一份設為下線狀態(tài)，并且該備份只有當其他兩份備份全部失效時才能被訪問。如果你采用的是用戶可以訪問到的數(shù)據(jù)（讓我們采用長尾應用作為例子），這些數(shù)據(jù)不再被訪問后將會下線，那么訪問頭一個字節(jié)和流化的時間問題就凸顯出來。還有數(shù)據(jù)只能周期性地訪問到，可能是每月/季度/年末尾等。這些數(shù)據(jù)存放在一個批量系統(tǒng)中，因此訪問頭一個字節(jié)的時間微不足道，但是總吞吐量就十分可觀。其他冷存儲的方式還包括我未接觸過的科學計算冷存儲，當研究人員不在超級機前面時，數(shù)據(jù)就被移除，當研究員回到電腦前數(shù)據(jù)就被重載。還有我未接觸過冷閃存，與應用層集成在一起的技術，以及在過去時間點的快照恢復的文件系統(tǒng)，或者是一次寫入的數(shù)據(jù)但被重復讀出千萬次、從寫角度而言是冷存儲的技術。

不同的存儲介質適用于這些迥異的應用案例，例如磁帶已經(jīng)成為了一種廣受信任的解決方案，而光盤則大有取而代之之勢。對于長尾數(shù)據(jù)而言，很有可能藍光技術將最終挺進這個市場，但是它對數(shù)據(jù)流的數(shù)量限制會阻礙其發(fā)展，因此我認為SMR硬盤將很快長驅直入，席卷整個市場。至于在批量系統(tǒng)中只會周期訪問的數(shù)據(jù)，近期，降速SMR盤和光盤將會在此一決雌雄。

在采用糾刪碼來處理數(shù)據(jù)方面，你做過什么具體工作？有過什么貢獻？中國數(shù)據(jù)中心的工程師對這個話題也很有興趣。

我有很多客戶都向我介紹過糾刪碼領域的產(chǎn)品，在Facebook工作時，我推薦了該項技術，作為降低成本和增加可用性的一種途徑。我們因此發(fā)現(xiàn)并解決了重建帶來的高昂費用的問題，因為當一個盤片出錯時，會為網(wǎng)絡和周邊盤造成十倍于本身容量的影響。該解決方案有兩個層面。一是在重新布局時采用的信息更為有效，因為那些依然能工作的節(jié)點參與提供了重建所需的數(shù)據(jù)，并且在重新布局中依然有效。這樣可以將磁盤及網(wǎng)絡運行的消耗減半。第二點是采用了一個具有本地保護的節(jié)點。這與多年前我們采用RAID上的RAID來實現(xiàn)PLAD配置類似，當時的結果是超快的速度和超級耐用的系統(tǒng)。你可以用一個簡單的帶30張盤的RAID5節(jié)點，在其中12（10，2）張盤上運行糾刪碼。該例中單個盤片失效不會對任何其他節(jié)點或網(wǎng)絡造成任何影響。只有當一個節(jié)點上出現(xiàn)多個并行故障時，上層重建才會發(fā)生。因此，該設計實現(xiàn)了資源的最佳利用，并大大減少了所需的網(wǎng)絡和計算資源。

用Hadoop改變數(shù)據(jù)中心

在軟件架構方面，Hadoop是中國多個數(shù)據(jù)中心的首選。假設不是所有數(shù)據(jù)中心都適合采用Hadoop，那么數(shù)據(jù)中心需要滿足什么條件才能長期適用Hadoop構架呢？

Hadoop對于可以并行化的負載而言是優(yōu)異的選擇。但有一點是確定無疑的，Hadoop需要改變數(shù)據(jù)中心的布局設計。對于大多數(shù)應用而言，采用Hadoop，網(wǎng)絡必須要承擔多得多的節(jié)點間的流量。由于任務已經(jīng)在所有節(jié)點間并行化，節(jié)點間必須要可以互相推送和獲取內(nèi)容。另外一點差異在于服務器設計本身，CPU的運算要求很繁重，但是JAVA存在內(nèi)存限制，因此服務器的設計偏向于減少內(nèi)存，而增加CPU、盤片和網(wǎng)絡。

Hadoop的生態(tài)系統(tǒng)完全成熟了嗎？

通過將任務流水線化，且將namespaces在單個Hadoop集群中隔離，架構師如今可以創(chuàng)造出定制化程度大大增強的架構。用一個零售應用的例子來說明，頭一個namespace負責客戶隱名，其中包含造假檢測及其他的客戶保護機制。工作流中這個部分限制只允許特定幾個雇員來訪問和查看。這些數(shù)據(jù)減除了敏感信息后再升級到下一層，用于庫存決策。下一步則是將數(shù)據(jù)升級到一個趨勢統(tǒng)計的可供全店訪問。將特定工作流和namespace捆綁在一起可以實現(xiàn)更加精準的增長及安全控制，這些帶來的好處也不需要多少成本和人力，開發(fā)人員可以專注于核心技術，而管理人員則專注于商業(yè)需求。

Hadoop有什么優(yōu)缺點？

Hadoop運行多個、并行的任務表現(xiàn)超群。然而，有些負載并不能并行化，會對Hadoop資源帶來巨大的消耗，應該盡快將其找到并移除。對此類任務而言，傳統(tǒng)的DB或者ERP解決問題會快得多、好得多。

鑒于設計人員已經(jīng)開始負責集群設計，namespaces也可以允許不同節(jié)點的配置（比如，一個namespace內(nèi)單個CPU帶60個盤片作存檔，在處理namespace則每個CPU帶15個SSD），應用設計人員不得不擔負硬件配置工作的負擔自然就減輕了。

除了是一名存儲戰(zhàn)略師，你看上去還有很多業(yè)余愛好，比如種植有機蔬菜和自制釀酒。你在個人愛好中也同樣傾注了創(chuàng)新精神嗎？有什么可以和我們分享嗎？

是的，我熱衷于將超高效數(shù)據(jù)中心的設計理念帶到公眾生活中運用。比如說，數(shù)據(jù)中心中使用揮發(fā)式冷卻系統(tǒng)，為什么我們不能做一款經(jīng)濟好用的在家里或辦公室里使用呢？農(nóng)業(yè)方面，我最感興趣的是養(yǎng)耕共生，即在一個系統(tǒng)中養(yǎng)魚養(yǎng)蝦，同樣也種植蔬菜。其優(yōu)點在于運行起來產(chǎn)生的廢物極少，耗能極低，也無須接觸地面，因此可以在有些無法種植的地方實施。這些系統(tǒng)的挑戰(zhàn)在于水的化學成份監(jiān)測，如果氧氣太少，什么都無法存活；氨太多，藻類生長過盛等等。所以，我在嘗試著設計一款“手電筒”，由特殊波長的LED和一個CCD照相機組成。使用時，將LED照向試管中的水樣，給水樣品照張“照片”，再把照片上傳到圖片處理網(wǎng)站，從而確定每個波長的密度。從每個波長傳送的光量可以確定各種有意思的成份的濃度。可以把它當成一個分離式的分光光度計。最終的結果將為用戶提出一系列建議，告訴他們怎樣做才能將自己的系統(tǒng)調(diào)整到最佳狀況。這個技術能讓社區(qū)級別的農(nóng)夫也享受到超大規(guī)模農(nóng)場種植者相當?shù)膬?yōu)越手段，讓產(chǎn)出的食物質量更好、產(chǎn)量更大。

寫在最后：

作為《數(shù)據(jù)中心的融合架構與存儲專題論壇》的演講嘉賓，Per Brashers帶來的主題是“未來數(shù)據(jù)中心的關鍵技術―智能、能耗、安全”，他認為數(shù)據(jù)中心降低成本的趨勢是由規(guī)模、技術上的革新、開放標準的風潮以及在部件層面提升效率，將系統(tǒng)作為一個整體來考慮，在降低成本的同時運行時間也可以得到改善。本演講涉及三個核心領域：數(shù)據(jù)中心在提高效率方面的趨勢、考察IT系統(tǒng)中各個分離部件的發(fā)展方向，并討論大規(guī)模部署環(huán)境中數(shù)據(jù)保護和可靠性的問題。通過聆聽本演講，聽眾應能了解設計適合大規(guī)模、低成本部署系統(tǒng)時要面對的一些核心決策問題。大家期待吧！點擊報名！

生活不易，碼農(nóng)辛苦
如果您覺得本網(wǎng)站對您的學習有所幫助,可以手機掃描二維碼進行捐贈