如何在hadoop集群环境中提取.gz文件？

如何通过java代码在hadoop集群环境中提取.gz文件，而无需将文件复制到本地（通过代码直接在hadoop中提取）？如何在hadoop集群环境中提取.gz文件？

来源

2016-09-20 Jacky Coogan

这是输入到MapReduce作业吗？ –

@BinaryNerd号 –

“gunzip -k file.gz”通常用于解压.gz文件，同时保留原始.gz，它是你在找什么？

来源

2016-09-20 08:51:19 Raun

不....我想在java中的代码提取....需要通过代码....不通过终端... –

考虑你的。广州文件中有一个文件，你可以这样做：

Configuration conf = new Configuration(); 
FileSystem fs = FileSystem.get(conf); 
Path inFile = new Path(argv[0]); 
Path outFile = new Path(argv[1]); 

FSDataInputStream in = fs.open(inFile); 
org.apache.hadoop.io.compress.GzipCodec.GzipInputStream gis = new org.apache.hadoop.io.compress.GzipCodec.GzipInputStream(in); 
FSDataOutputStream out = fs.create(outFile); 

doCopy(gis, out); 

public static void doCopy(FSDataInputStream is, FSDataOutputStream os) throws Exception { 
    int oneByte; 
    while ((oneByte = is.read()) != -1) { 
     os.write(oneByte); 
    } 
    os.close(); 
    is.close(); 
}

来源

2016-09-20 10:34:58

这样做的其他方式，你可以创建一个shell脚本并运行时，你需要相同的脚本。或者你试着在你的代码中实现终端命令。

如果你想从终端做它，你可以运行此命令

的gzip [-acdfhlLnNrtvV19] [-S后缀] [名称...] gunzip解[-acfhlLnNrtvV] [-S后缀] [名...]

来源：https://www.techonthenet.com/linux/commands/gzip.php

来源

2016-09-21 14:31:37

如何在hadoop集群环境中提取.gz文件？

回答

相关问题