如何提高HBase中的RowFilter性能？

对我而言，我使用rowfilter在HBase中搜索某些rowkeys。我想做模糊查询，所以我使用scan和rowfilter而不是使用'Get'。但是，例如，当我有一千万行rowkeys存储在HBase中时，扫描结果需要非常长的时间。那么如何提高rowfilter查询的性能呢？如何提高HBase中的RowFilter性能？

try { 

    for (String uid : uidsArr) { 

     Scan scan = new Scan(); 
     Filter filter1 = new RowFilter(CompareFilter.CompareOp.EQUAL, new SubstringComparator(uid)); 
     scan.setFilter(filter1); 
     scan.setMaxVersions(versions); 


     ResultScanner scanner1 = table.getScanner(scan); 
     Cell[] cells; 
     for (Result res : scanner1) { 
      cells = res.rawCells(); 
      list.addAll(getHBaseTableDataListFromCells(cells)); 

     } 
    } 

    return list; 

} catch (Exception e) { 
    e.printStackTrace(); 
}

来源

2017-03-21 haohuily

为了提高扫描速度，你必须指定开始/结束行键。否则，您的扫描必须考虑表中的所有键。这就是为什么它需要很多时间。

new Scan().withStartRow(startRow).withStopRow(stopRow)

例如，如果您要按值搜索，最好将它放在行键的起始位置。所以，搜索字符串应该是PREFIX。但是，它可能会导致炎热地区的问题。其他解决方案是有额外的查找表。

来源

2017-03-21 22:25:33 Natalia

最好使用RowPrefixFilter而不是RowFilter。

val scan = new Scan() 
scan.setRowPrefixFilter(yourKey)

来源

2017-07-11 10:20:54

如何提高HBase中的RowFilter性能？

回答

相关问题