mongodb與mysql全表掃描能力PK

nosql的數據在內存里，而傳統rdbms，某個select第一次執行的時候，如果發現內存里沒有需要的數據（比如mysql的innodb buffer pool），會去從磁盤讀取，然后再開始計算，這樣子從原理上就必然比nosql要慢一些，但是，會慢多少呢？可以用一個分組統計的全表掃描來PK下。

測試環境如下：

server：阿里云服務器（Ubuntu14.04+1核cpu和 1G內存）

mysql:5.5.41

mysql服務端參數：innodb_buffer_pool_size = 512M   （其余都默認）

mongodb:2.4.9

這里用一個1000多萬行記錄的表作為測試對象，這個表只有一個字段：imsi。

在mysql里建測試對象，導表：

create database db_test;

create table ul_inbound(imsi varchar(15));
load data infile '/tmp/inbound.sub.log' into table ul_inbound(imsi);

測試結果：

mysql> select imsi,count(*) from ul_inbound group by imsi having count(*) >5000;
+-----------------+----------+
| imsi            | count(*) |
+-----------------+----------+
| 250017831851018 |     5166 |
| 283100106389033 |    21291 |
| 302720304966683 |    41598 |
| 302720502859575 |     8787 |
| 302720505260881 |     7932 |
| 310170801568405 |     6018 |
| 310170802085117 |    13452 |
| 310170802299726 |    13824 |
| 310410577936479 |     5772 |
| 310410610359421 |     5790 |
| 310410661857060 |     7038 |
| 310410669731926 |     7788 |
| 310410671702203 |     6705 |
| 310410673812082 |     5403 |
+-----------------+----------+
53 rows in set (1 min 47.73 sec)

花了107秒。

在mongodb里導入數據（導入到my_mongodb的sub里）：

#!/usr/bin/python
# Python:2.7.6
# Filename:mongodb.py
import pymongo
import random

conn = pymongo.Connection("127.0.0.1",27017)  #Connection() without parameters will default connect localhost mongodb
db = conn.my_mongodb
for imsi in open('inbound.sub.log'):
    imsi = imsi.strip('\n')
    db.sub.insert({'imsi':imsi})

> use my_mongodb;
switched to db my_mongodb
> db.sub.aggregate( [ { $group: { _id: "$imsi",  count: { $sum: 1 } } }, { $match: { count: { $gt: 5000 } } } ]);
{
        "result" : [
                {
                        "_id" : "401025006559964",
                        "count" : 17982
                },
                {
                        "_id" : "310410757405261",
                        "count" : 7269
                },

10秒左右搞定。

注：

1）這個只是為了測試全表掃描能力，實際mysql查詢能力會受到索引、服務端參數等諸多因素的影響。

2）mongodb的使用，必須內存管夠，如果內存不夠，要用swap，能力會大受影響。