2012-03-15 214 views
2

我处理一些输入文件和插入获得记录作为 CouchDB的文件。 我注意到插入速度正在递减,数据库大小增加了 。迅速减少插入速度CouchDB中

我要做的就是:从输入文件

  • 处理数据

    1. 读取数据,以获得结构化文档
    2. 把文件在本地缓存
    3. 只要缓冲区有1000文件,执行couchdb批量插入
    4. 重复输入数据已完全处理

    在这里,你有我当前运行的日志:

    2012-03-15 10:15:58,716 - docs= 10000 rate=2282.38 entries/s 
    2012-03-15 10:16:46,748 - docs=100000 rate=1822.76 entries/s 
    2012-03-15 10:17:47,433 - docs=200000 rate=1592.01 entries/s 
    2012-03-15 10:18:48,566 - docs=300000 rate=1358.32 entries/s 
    2012-03-15 10:19:54,637 - docs=400000 rate=1572.55 entries/s 
    2012-03-15 10:21:01,690 - docs=500000 rate=1560.41 entries/s 
    2012-03-15 10:22:09,400 - docs=600000 rate=1556.22 entries/s 
    2012-03-15 10:23:16,153 - docs=700000 rate=1550.21 entries/s 
    2012-03-15 10:24:30,850 - docs=800000 rate=1393.61 entries/s 
    2012-03-15 10:25:46,099 - docs=900000 rate=1336.83 entries/s 
    2012-03-15 10:27:09,290 - docs=1000000 rate= 871.37 entries/s 
    2012-03-15 10:28:31,745 - docs=1100000 rate=1256.36 entries/s 
    2012-03-15 10:29:53,313 - docs=1200000 rate=1140.49 entries/s 
    2012-03-15 10:31:29,207 - docs=1300000 rate=1080.79 entries/s 
    2012-03-15 10:33:23,917 - docs=1400000 rate= 741.65 entries/s 
    2012-03-15 10:35:45,475 - docs=1500000 rate= 567.96 entries/s 
    2012-03-15 10:39:04,293 - docs=1600000 rate= 564.01 entries/s 
    2012-03-15 10:42:20,160 - docs=1700000 rate= 499.29 entries/s 
    2012-03-15 10:46:06,270 - docs=1800000 rate= 505.04 entries/s 
    2012-03-15 10:50:24,745 - docs=1900000 rate= 402.14 entries/s 
    2012-03-15 10:55:23,800 - docs=2000000 rate= 346.19 entries/s 
    2012-03-15 11:02:03,217 - docs=2100000 rate= 274.59 entries/s 
    2012-03-15 11:08:21,690 - docs=2200000 rate= 269.57 entries/s 
    

    的“速度”显示上次万份文件,其中 正如你所看到的降解速度非常快的插入速率。

    • 这是正常的吗?
    • 我可以做一些事情来保持高插入率吗?
    • 你有大的CouchDB数据库的经验。
    • 任何你想分享的建议?
  • 回答

    4

    高插入率是反常,造成的一切整齐地安装到您的磁盘缓存。随着数据库大小的增加,您最终需要从磁盘读取数据以更新btree。将插入测试延长一段时间并绘制图形会更好,然后您应该看到,前端的巨大峰值是奇怪的,而不是较低的,但几乎是恒定的速率。

    从其他线程你问的这个问题,另一个显著的因素是,你使用完全随机UUID的。由于CouchDB基于b +树,因此插入完全随机的id是更新中最糟糕的情况。 CouchDB提供了许多uuid算法,默认情况下,称为'顺序'的返回值的碰撞几率很低,仍然足够顺序以提供更好的插入性能。

    +0

    其实,这是更关系到DOC_ID比其订购的*尺寸*。我已经通过使用非常小的(几个字符)doc_id解决了这个问题,实际上是一个base64编码的单调递增的doc_id。我也使用Erlang有序字典来执行编码,但这是一个小问题。 – dangonfast 2012-03-19 14:28:19