bzip2

1热度

1回答

为什么hdfs支持bzip2压缩，但hbase不支持bzip2压缩？

7热度

1回答

我有一个使用bzip2压缩的wikipedia转储（从http://dumps.wikimedia.org/enwiki/下载），但我不想解压缩它：我想在进行解压缩的同时处理它。我知道可以用普通的Java来完成它（例如见Java - Read BZ2 file and uncompress/parse on the fly），但是我想知道它在Apache Flink中是如何做到的？我可能需要的是

1热度

1回答

的boost :: iostream的bzip2_decompressor不通过解压bzip2_compressor

的boost :: iostream的压缩文件bzip2_decompressor不解压文件的bzip2_compressor

0热度

1回答

无法解压缩Bz2文件使用Dotnetzip库的原始文件

我有10行的文件，我正在压缩到Bz2格式，但是当我解压缩它时，我看到生成的文件只有9行。有1.5行数据丢失。这是我的压缩到Bz2的代码。我使用DotNet zip库 https://dotnetzip.codeplex.com/ 以下是压缩代码，我将文件转换为UTF-8和Bz2文件。 static string Compress(string sourceFile, bool forceOverw

0热度

1回答

SSH多个命令追加问号文件名

我有一个数据库传输脚本，它使用的bzip2在服务器上尽量减少大型数据库的锁定。第一行是 ssh [email protected] "mysqldump db | bzip2 >/root/db.sql.bz2" 这适用于多台服务器，而是一个新的Ubuntu 14.04服务器上的服务器上创建的文件中有一个问号附加： ls -la gt* -rw-r--r-- 1 root root 236

0热度

1回答

C＃如何在不提取文件的情况下从bzip2（.bz2）文件获取文件/复制文件

我有一个.bz2压缩文件，我想将内部文件复制到另一个位置，而不需要解压缩。我使用.net 4.5与C＃。我想这样，但是这是一个zip文件（.zip文件）： using (var zip = ZipFile.Read(_targetPathComplete + "\\" + file[0].ToUpper() + "_" + file[1].ToUpper() + ".bz2")) {

2热度

1回答

Mapreduce上大gz文件

我有一个大小约120GB的gz文件。我想运行mapreduce，但由于gz文件不可拆分，只有一个映射器能够一次处理该文件。该文件存在于hdfs和本地文件中。可能的选择我在想： 1）解压缩gz文件并将其存储在hdfs中：首先，需要太多时间来解压缩文件并将解压缩数据放入hdfs中。此外，我不能直接在hdfs中解压文件，因为hdfs没有zcat或gunzip命令。所以我必须做zcat a.gz | h

2热度

1回答

的Python BZ2 IO错误：无效的数据流

Traceback (most recent call last): File "TTRC_main.py", line 309, in <module> updater.start() File "TTRC_main.py", line 36, in start newFileData = bz2.BZ2File("C:/Program Files (x8

0热度

2回答

如何在内存中压缩commons compress？

我想在使用commons compress的内存中使用bzip2数据。我想这一点： private static final int bufferSize = 8192; public void compress( ByteArrayInputStream byteArrayInputStream, CompressorOutputStream compressorOutpu

0热度

1回答

解压缩在Python

从存储器流BZ2我有CSV数据bz2压缩的数据的块在存储器 compressed = load_from_network_service(...) 我想迭代解压缩线的流。 for line in bz2_decompress_stream(compressed): ... 这样的功能是否存在？原则上，我可以写入到磁盘，然后使用bz2.BZ2File，这似乎只需要消耗一个文件名