使用多核将数据序列化为二进制

我使用模块Storable中的store函数来获取我的哈希的二进制表示。这个哈希值足够大，可以使进程持续20分钟。是否有与store类似的功能可以与多核芯片一起使用，因此可以提升速度？使用多核将数据序列化为二进制

我搜索了一段时间，我没有找到任何相关的东西，甚至使用bson作为存储。

如果你不关心格式，你可以从字面上将散列分成N部分，然后将这些部分存储到单独的文件中。 ///另外，比如JSON和YAML等较轻的格式，如果它们足够适合您，它可能比Storable更快。 – ikegami

鉴于“序列化”的含义，到底如何建议“串行化”某些东西？另外，即使是千兆字节的数据也不需要20分钟的时间来进行序列化，但其他方面却是错误的。如果你需要帮助，你将不得不提供更多的细节。 –

@JimGarrison我有超过1 GB的信息。在这一刻我不能说确切的数额，但我认为这可能很容易10 GB。序列化我的意思是获得我的散列的二进制表示以存储到文件中。 –

最后，我决定将我想要存储的数据拆分为与计算机上的核心数量相同的数量。所以，我可以在线程中执行store来制作不同的输出文件，正如ikegami在评论中所建议的那样。

2017-03-13 21:41:41

回答