您當(dāng)前位置：首頁 > 互聯(lián)網(wǎng) > 【CSDN在線培訓(xùn)QA】小米崔建偉答疑HBase在小米中的應(yīng)用實(shí)踐

【CSDN在線培訓(xùn)QA】小米崔建偉答疑HBase在小米中的應(yīng)用實(shí)踐

來源：程序員人生發(fā)布時間：2014-09-07 21:45:16 閱讀次數(shù)：2266次

2014年3月25日，CSDN在線培訓(xùn)：HBase在小米中的應(yīng)用實(shí)踐圓滿結(jié)束，本次培訓(xùn)講師是來自小米的崔建偉，他表示隨著小米業(yè)務(wù)的逐漸擴(kuò)展，特別是大數(shù)據(jù)時代的到來，原有的關(guān)系型數(shù)據(jù)庫MySQL已經(jīng)逐漸無法滿足需求，因此向NoSQL遷移是很自然的事情。

CSDN在線培訓(xùn)是專為廣大技術(shù)從業(yè)人員準(zhǔn)備的在線實(shí)時互動技術(shù)培訓(xùn)，邀請各個行業(yè)一線技術(shù)工程師分享他們工作中遇見的各種問題以及解決方案，同時給大家?guī)硪恍┬录夹g(shù)、思路、解決方案！

CSDN在線培訓(xùn)以“經(jīng)典性、實(shí)戰(zhàn)性、系統(tǒng)性、前瞻性、專業(yè)性”的特色課程為主，通過視頻授課、文檔共享、白板共享、屏幕共享、講師在線QA等多種形式的學(xué)習(xí)方法，幫助一線工程師們利用碎片化時間加強(qiáng)實(shí)戰(zhàn)能力，提升實(shí)踐水平，并實(shí)現(xiàn)與技術(shù)高手的溝通與互動。

由于本次培訓(xùn)的時間有限，問答環(huán)節(jié)有很多問題講師沒有時間進(jìn)行回復(fù)，CSDN特別準(zhǔn)備了本次培訓(xùn)QA總結(jié)，幫助大家更好的復(fù)習(xí)和總結(jié)此次培訓(xùn)中學(xué)到的技術(shù)點(diǎn)，讓各位學(xué)員更快的掌握相關(guān)技術(shù)要點(diǎn)，少走彎路。以下是整理的一些QA，更多問題可以到CSDN本次活動討論帖進(jìn)行互動：http://bbs.csdn.net/topics/390742064。

Q：部署集群是用Hadoop還是CDH？

目前使用的是HBase社區(qū)的0.94分支。

Q：小米基礎(chǔ)平臺組都做哪些事情？

負(fù)責(zé)小米的存儲和計(jì)算平臺開發(fā)。

Q：Hive性能不及自己寫的MapReduce吧？

Hive的優(yōu)點(diǎn)在于用類SQL的方式進(jìn)行大數(shù)據(jù)分析和處理，學(xué)習(xí)成本比較低。Hive轉(zhuǎn)化的MR作業(yè)會做優(yōu)化，有時甚至比自己寫的MR作業(yè)更高效。也有HQL語句寫的不好而導(dǎo)致效率低下的例子，需要具體分析轉(zhuǎn)換后的MR作業(yè)邏輯。

Q：我有個HBase集群，有讀和寫操作。寫操作每天都有峰值，每次平穩(wěn)運(yùn)行一個月時間后查詢就會非常慢。我的問題是為什么每次碰到這種情況重啟不能解決問題？但經(jīng)過手動compaction和split后就解決了這個問題。幫忙分析一下吧。

查詢慢的原因可能很多。Compaction會合并HFile，真刪除數(shù)據(jù)、刪除過期數(shù)據(jù)，對于查詢效率的提高作用很大；Split Region之后，會觸發(fā)Region的Compact，因此也能幫助提高查詢效率。一般來講重啟集群對于查詢效率的提高沒有直接關(guān)系。另外HBase的讀性能應(yīng)該主要與內(nèi)存和硬盤的比例有關(guān)，硬盤讀延時較大。你們的數(shù)據(jù)訪問是完全隨機(jī)的還是訪問最近寫入的數(shù)據(jù)更多？如果是訪問近期寫入數(shù)據(jù)更多，一般命中內(nèi)存概率很大，讀效率不會隨數(shù)據(jù)量增長而很快下降；如果是完全隨機(jī)讀，數(shù)據(jù)量變大后，需要從硬盤讀的比例同步變大，讀性能下降可能比較明顯，讀性能差的時候ioutil可能很高吧。

Q：你們在使用HBase的時候遇到過的最大難題是什么，是怎么一點(diǎn)一點(diǎn)解決的？

應(yīng)該遇到過很多難題，比如高可用性、性能方面。主要是通過輸入了解代碼，優(yōu)化實(shí)現(xiàn)，加入更多的調(diào)試信息明確問題以及故障總結(jié)等方式來逐漸解決。

Q：在使用HBase的過程中g(shù)c是怎么優(yōu)化的？

結(jié)合gc log重點(diǎn)關(guān)注Xmn/SurvivorRatio/MaxTenuringThreshold以及并發(fā)gc線程數(shù)即可，gc靠tuning參數(shù)只能緩解問題，最終還是得關(guān)注從代碼層面減少內(nèi)存垃圾和碎片。

Q：你們現(xiàn)在用的jdk的版本是多少？

1.6.3x，未正式使用1.7。

Q：之前講到了多個集群浪費(fèi)的問題，想問問小米在節(jié)能方面做了哪些工作？

對于離線業(yè)務(wù)，建設(shè)大的離線集群讓業(yè)務(wù)共享資源。統(tǒng)計(jì)cpu/磁盤的利用率，尋找優(yōu)化的可能。

Q:二級索引在HBase怎么實(shí)現(xiàn)？

局部二級索引會借助于同region跨行事務(wù)的原子性，Key Delimiter Prefix Region Split Policy的Split Policy；全局二級索引會基于全局跨行事務(wù)（我們實(shí)驗(yàn)了全局二級事務(wù)，原理同google percolator）。

Q：能否介紹下HBase compaction優(yōu)化方面？

compaction方面我們規(guī)劃了一些優(yōu)化工作，參見：https://issues.apache.org/jira/browse/HBase-9528

Q：如果集群的region個數(shù)已經(jīng)達(dá)到5000個，每次上下線時間較長，不知道小米對region上線時間有沒有優(yōu)化？

對于集群升級，我們會做rolling_update；每臺升級關(guān)閉region server前，會通過腳本將上面的region move到其它region server，這個過程中region 在內(nèi)存的數(shù)據(jù)會flush，減少后面HLog replay的時間。另外，后面也會做region server并發(fā)restart。

Q：小米集群每臺機(jī)器的配置都是一樣的，都有哪些典型配置（CPU核數(shù)、內(nèi)存、硬盤、硬盤轉(zhuǎn)速）？

某些讀多寫少的業(yè)務(wù)嘗試過ssd。機(jī)器典型的配置參見PPT的page5。采用定制機(jī)器還是購買廠家如聯(lián)想、華為等的機(jī)器。

Q:小米的結(jié)構(gòu)化存儲服務(wù)有什么優(yōu)勢？

基于HBase，具有高可擴(kuò)展性和高可用性；同時支持服務(wù)器端和客戶端兩種模式的訪問。

Q：目前你們公司的集群響應(yīng)速度怎么樣？能大概介紹一下嗎？

隨機(jī)速度在2到5ms左右；隨機(jī)讀速度在3-10ms左右。

Q：HBase的實(shí)時讀取不是很好，有什么改進(jìn)的方案嗎？

讀性能主要是看緩存命中率，只要這個命中率高實(shí)時讀性能還是不錯的，我們優(yōu)化了HBase的block cache淘汰算法，對熱點(diǎn)數(shù)據(jù)的命中率也會有幫助。當(dāng)讀請求擊穿到HDFS層面或是更下面的物理磁盤層面，那實(shí)際的讀性能就可能取決于底層磁盤IO能力了，目前在HDFS我們實(shí)現(xiàn)了Hedged Read特性可以優(yōu)化讀請求的時延，還有個多block reader在開發(fā)計(jì)劃中，而在OS的緩存命中率上我們還沒開展相關(guān)的分析和優(yōu)化指導(dǎo)工作。

Q:Hadoop 2中的Yarn對HBase是否有性能上的影響？如果配合spark可以嗎？

第一個問題，是指在Yarn上運(yùn)行HBase，還是MR處理HBase數(shù)據(jù)？前者沒有實(shí)踐，后者和MR1應(yīng)該沒有明顯差異。
第二個問題，目前Spark支持運(yùn)行在Yarn上，也可以處理HBase的數(shù)據(jù)，但Spark0.9.0對于安全集群(Kerberos)支持的不夠完善。

Q：運(yùn)維監(jiān)控時數(shù)據(jù)是怎么采集和存儲的？