查找数据库中大量数据的频率

Question

如果我们在一个文件中有一个巨大的字符串数据，我们通常可以使用算法（s），比如（hash + heap）或（trie + heap）等等来有效地查找顶部'k'字高频率。如果我的'数据库'中有大量的字符串数据，我该如何做到这一点。现在我知道的唯一方法是查询整个数据集，然后对其执行频率操作。但是查询庞大的数据集是一项非常昂贵的操作。有没有任何有效/更好的方法来做到这一点？

Answer 1

通过对大量数据进行并行处理并使用群集而不是单个机器来完成对大量数据的查找。

你所描述的是一个典型的map-reduce问题，可以使用以下功能（在伪代码）进行处理：

map(doc): 
    for each word in doc: 
     emitIntermediate(word,"1") 
reduce(list<word>): 
    emit(word,size(list)) 

地图缩小框架，它在许多语言中实现 - 让你轻松地扩展问题并毫不费力地使用大型集群，为您处理故障和工人管理。

在这里：doc是一个单一的文件，它通常假设文件的集合。如果您只有一个大文档，您当然可以将其分割为较小的文档并调用相同的算法。