什么文件格式会让我非常快速地搜索文件中的字符串？

Question

我有一个100GB的随机文本字符串，长度为4到200个字符，每行一个。

我希望能够在文件中的任何字符串中找到一个字符串，例如如果可能的话，在“footestbar”中发生任何“测试”。

否则，我会很高兴能够找到以子串开头的行/记录，例如， “foo”找到“footestbar”而不是“testbarfoo”。

我在考虑对文件进行一次排序，然后记录带有“a”行的行，其中带有“b”的行开始的位置等。这会让我快速跳到正确的部分并缩短它的时间需要。我可以通过记录所有三个字符组合开始更快的位置来进一步改善，但有些事情告诉我有更好的方法。

Answer 1

我认为一个好的开始可能是产生一个DAFSA。您可能必须将其与图形文件格式结合使用。