大偏移量下Redis、MongoDB分頁/排名性能比較
來源：程序員人生 發布時間：2014-12-19 08:32:37 閱讀次數：3536次
題目其實其實不太準確，由于數據庫其實不會提供分頁、排名等功能，提供的只是數據的存取，分頁排名這些都是我們基于數據庫的實用案例而已。但是不管是Redis還是MongoDB，通常都有1些常規的做分頁和排名的方法。本文就通過1些測試數據來向大家介紹Redis和MongoDB（和傳統關系型數據庫）在這方面的性能差別。
分頁
首先我們來做1個分頁，在MongoDB中示例數據以下所未：
db.scores.find();
{lid: ObjectId("4fe506dabb2bfa742d000001"), score: 1, name: 'user_1'}
{lid: ObjectId("4fe506dabb2bfa742d000001"), score: 2, name: 'user_2'}
{lid: ObjectId("4fe506dabb2bfa742d000001"), score: 3, name: 'user_3'}
{lid: ObjectId("4fe506dabb2bfa742d000001"), score: 4, name: 'user_4'}
其中lid字段用于辨別不同的緯度，主要用在挑選上，在測試collection中，1共有5個不同的lid值，每個對應1,200,000條數據，1共6,000,000條數據。索引在lid 和 score上。（下面的查詢能使用到索引）
然后我們進行下面的性能測試：
collection = Mongo::Connection.new.db('test').collection('scores')
Benchmark.bmbm do |x|
x.report("mongo small") do
100.times do |i|
collection.find({:lid => lids.sample}, {:fields => {:_id => false, :score => true, :user => true}}).sort({:score => ⑴}).limit(20).skip(i * 20).to_a
end
end
x.report("mongo medium") do
100.times do |i|
collection.find({:lid => lids.sample}, {:fields => {:_id => false, :score => true, :user => true}}).sort({:score => ⑴}).limit(20).skip(i * 1000).to_a
end
end
x.report("mongo large") do
100.times do |i|
collection.find({:lid => lids.sample}, {:fields => {:_id => false, :score => true, :user => true}}).sort({:score => ⑴}).limit(20).skip(i * 10000).to_a
end
end
end
上面分別對skip條數比較小，中等大小和非常大3種情況進行了測試。而limit指定獲得的數據都1樣是20條。這3種情況下的測試結果分別是：0.6 秒， 17 秒，173 秒。
我們可以看到，對MongoDB來講，skip的大小嚴重影響性能，應當嚴格避免特別大的skip操作。
下面我們將類似的數據用Redis的Sorted Sets進行存儲。并進行相應的性能測試
redis = Redis.new(:driver => :hiredis)
Benchmark.bmbm do |x|
x.report("redis small") do
100.times do |i|
start = i * 20
redis.zrevrange(lids.sample, start, start + 20, :with_scores => true)
end
end
x.report("redis medium") do
100.times do |i|
start = i * 1000
redis.zrevrange(lids.sample, start, start + 20, :with_scores => true)
end
end
x.report("redis large") do
100.times do |i|
start = i * 10000
redis.zrevrange(lids.sample, start, start + 20, :with_scores => true)
end
end
這里skip的值和上面MongoDB中是1樣的，那末Redis的表現如何呢。這3種情況下的測試結果分別是：0.028 秒， 0.025 秒， 0.028 秒。
采取類似于MongoDB的數據結構存儲在PostgreSQL中并進行相同的測試，其結果比MongoDB還要差1點。具體結果以下：
mongo small 0.6
mongo medium 17
mongo large 173
redis small 0.028
redis medium 0.025
redis large 0.028
pg small 1
pg medium 122
pg large 650
排名
排名功能與分頁功能類似，不同的是排名是通過計算大于某個值的條數來做的。
比如：
//sql
select count(*) from scores where lid = $1 and score > $2
//mongo
db.scores.find({lid: lid, score: {$gt: score}}).count()
由于排名和分頁實現原理上類似，所以結果實際上差不多。測試結果以下：
mongo top rank 1.155847
mongo average 22.291007
redis top rank 0.169442
redis average 0.162205
pg top rank 0.714144
pg average 21.771570
結論
上面做了對照，那末本文要說1個甚么問題呢？
首先，在MongoDB中，盡可能避免進行比較大的skip操作，比如在分頁中，如果你能知道需要獲得數據的上1條score是多少，那末可能能夠用下面的方法來獲得你要的數據，而不是通過1次很大的skip操作。
db.scores.find({lid: lid, score: {$lt: last_score}}).sort({score: ⑴}).limit(20)
另外，如果你需要進行比較大的skip操作或count比較大的數量，那末可以斟酌采取Redis的Sorted Sets來做。
后記
本文在微博上引發了1些技術朋友的討論，對對照的問題這里做1個說明。
我 們知道，Redis是內存數據庫，而MongoDB不是，所以有朋友質疑這里的對照是不是只是內存與磁盤的對照。實際上這1說法不無道理，上面的測試數據出 自原作者文章，其文章也并未提及MongoDB是不是都在內存中。根據我個人的實驗結果，當數據全部能夠在內存中時，確切不會出現如本文中所說的 MongoDB性能嚴重差異。但是，隨著skip的變大，操作時間還是在顯著變長，而Redis的Sorted Sets則相對穩定。
同時也歡迎更多實驗對照數據和原理分析的討論。感謝大家。
生活不易，碼農辛苦
如果您覺得本網站對您的學習有所幫助,可以手機掃描二維碼進行捐贈
