2
我处理一些输入文件和插入获得记录作为 CouchDB的文件。 我注意到插入速度正在递减,数据库大小增加了 。迅速减少插入速度CouchDB中
我要做的就是:从输入文件
- 读取数据,以获得结构化文档
- 把文件在本地缓存
- 只要缓冲区有1000文件,执行couchdb批量插入
- 重复输入数据已完全处理
在这里,你有我当前运行的日志:
2012-03-15 10:15:58,716 - docs= 10000 rate=2282.38 entries/s
2012-03-15 10:16:46,748 - docs=100000 rate=1822.76 entries/s
2012-03-15 10:17:47,433 - docs=200000 rate=1592.01 entries/s
2012-03-15 10:18:48,566 - docs=300000 rate=1358.32 entries/s
2012-03-15 10:19:54,637 - docs=400000 rate=1572.55 entries/s
2012-03-15 10:21:01,690 - docs=500000 rate=1560.41 entries/s
2012-03-15 10:22:09,400 - docs=600000 rate=1556.22 entries/s
2012-03-15 10:23:16,153 - docs=700000 rate=1550.21 entries/s
2012-03-15 10:24:30,850 - docs=800000 rate=1393.61 entries/s
2012-03-15 10:25:46,099 - docs=900000 rate=1336.83 entries/s
2012-03-15 10:27:09,290 - docs=1000000 rate= 871.37 entries/s
2012-03-15 10:28:31,745 - docs=1100000 rate=1256.36 entries/s
2012-03-15 10:29:53,313 - docs=1200000 rate=1140.49 entries/s
2012-03-15 10:31:29,207 - docs=1300000 rate=1080.79 entries/s
2012-03-15 10:33:23,917 - docs=1400000 rate= 741.65 entries/s
2012-03-15 10:35:45,475 - docs=1500000 rate= 567.96 entries/s
2012-03-15 10:39:04,293 - docs=1600000 rate= 564.01 entries/s
2012-03-15 10:42:20,160 - docs=1700000 rate= 499.29 entries/s
2012-03-15 10:46:06,270 - docs=1800000 rate= 505.04 entries/s
2012-03-15 10:50:24,745 - docs=1900000 rate= 402.14 entries/s
2012-03-15 10:55:23,800 - docs=2000000 rate= 346.19 entries/s
2012-03-15 11:02:03,217 - docs=2100000 rate= 274.59 entries/s
2012-03-15 11:08:21,690 - docs=2200000 rate= 269.57 entries/s
的“速度”显示上次万份文件,其中 正如你所看到的降解速度非常快的插入速率。
- 这是正常的吗?
- 我可以做一些事情来保持高插入率吗?
- 你有大的CouchDB数据库的经验。
- 任何你想分享的建议?
其实,这是更关系到DOC_ID比其订购的*尺寸*。我已经通过使用非常小的(几个字符)doc_id解决了这个问题,实际上是一个base64编码的单调递增的doc_id。我也使用Erlang有序字典来执行编码,但这是一个小问题。 – dangonfast 2012-03-19 14:28:19