我想按字符读取一个30 MB字符的大文件。我发现了一篇关于如何阅读大文件的有趣文章。 Fast Method to Stream Big files 问题:输出打印代替实际人类可读的文本二进制数据 代码: def getRow(filepath):
offsets = get_offsets(filepath)
random.shuffle(offsets)
with
我想对12GB文本文件中的字符串执行4000多次搜索。 目前,我使用mmap来将文件加载到内存中,这是很好的作品(大约需要5秒钟): with open('my_file.txt', 'rb') as f:
m = mmap.mmap(f.fileno(), 0, prot=mmap.PROT_READ)
data = m.read(-1)
不幸的是,搜索是永远走: for