并行压缩算法

Question

许多/大多数压缩算法都有一个并行解压缩实现（例如pigz为gzip等）。

然而，很少有人看到时间减少与处理任务的处理器数量成正比，而多数处理器并没有从中受益。

我很想知道，如果有任何压缩格式，内置到设计并行减压 - 即在理论上是100倍，100级的CPU快于1

谢谢你，一切顺利:)

Answer 1

你可能是I/O绑定的。在某些时候，如果更多处理器等待输入或输出，它们将无济于事。你只是得到更多的处理器等待。

或者您的输入文件可能不够大。

对于足够大的输入（如果不是I/O限制的话），pigz实际上会比100 cpu更快100倍。默认情况下，pigz向每个处理器发送128K数据块以进行工作，所以您需要输入至少13 MB才能为所有100个处理器提供工作。理想情况下，让所有处理器同时运行的速度更快。