0
我想从数据库插入数据到HBase, 但是有许多列的行(超过50个,只有一个列族)。 而且我有4个区域服务器,但插入 的性能低于10000行/秒。为什么我在HBase中插入有许多列的行时这么慢?
我该怎么办?
我想从数据库插入数据到HBase, 但是有许多列的行(超过50个,只有一个列族)。 而且我有4个区域服务器,但插入 的性能低于10000行/秒。为什么我在HBase中插入有许多列的行时这么慢?
我该怎么办?
忽略硬件方面的事情(即得到更好的硬盘/服务器等),有很多方法可以优化Put命令。我不知道你如何与HBase交谈,但是可以禁用的设置(如WAL)可以提高性能并同时执行多个Puts。此外,您应该确保没有很多行键冲突,因为这些冲突会创建热点并降低Region Server性能。
是的,我已经禁用了WAL并预共享了rowkey。现在看起来好多了。 – user905421
然后在upvote和接受答案的任何机会? =) – Tony