Snappy文件压缩将计数器值添加到数据

使用通过map reduce使用snappy压缩来压缩文件时，它将计数器值添加到数据。在压缩时应该如何移除计数器。下面是一些代码部分：Snappy文件压缩将计数器值添加到数据

JobConf jobConf = new JobConf(conf,SnappyCompression.class); 
FileInputFormat.addInputPath(jobConf, new Path(arg[0])); 
FileOutputFormat.setOutputPath(jobConf, new Path(arg[1])); 
FileOutputFormat.setCompressOutput(jobConf, true); 
FileOutputFormat.setOutputCompressorClass(jobConf, SnappyCodec.class);

，并有任何命令通过Unix的压缩在瞬间文件？

来源

2015-10-19 user3824693

“计数器值”？ – nemequ

找到了我问的一个问题的解决方案。 – user3824693

在Unix中有没有命令来压缩snappy中的文件。我对bzip有命令。 – user3824693

我知道的解压原始数据的唯一工具是CLI中的Squash（我写的）。

如果你想压缩/解压缩到各种可用的帧格式之一，snzip应该做的伎俩。它无法处理原始数据，但它支持官方框架格式以及其他一些数据。

AFAIK既没有工具已经被打包用于任何发行版。

来源

2015-10-20 16:50:56 nemequ

Snappy文件压缩将计数器值添加到数据

回答

相关问题