从s3到hadoop的distcp - 文件未找到

我得到了有关未找到文件的下列错误。那么...文件存在。我是一个distcp新手。我正在使用cloudera FYI。从s3到hadoop的distcp - 文件未找到

https://s3.amazonaws.com/test-development/test/201305031003_0_ubuntu.gz 


[email protected]:~$ hadoop distcp -i 201305031003_0_ubuntu.gz s3://id:[email protected]/test/201305031003_0_ubuntu.gz 
13/05/04 14:54:29 INFO tools.DistCp: srcPaths=[201305031003_0_ubuntu.gz] 
13/05/04 14:54:29 INFO tools.DistCp: destPath=s3://id:[email protected]/test/201305031003_0_ubuntu.gz 
With failures, global counters are inaccurate; consider running with -i 
Copy failed: org.apache.hadoop.mapred.InvalidInputException: Input source 201305031003_0_ubuntu.gz does not exist. 
    at org.apache.hadoop.tools.DistCp.checkSrcPath(DistCp.java:641) 
    at org.apache.hadoop.tools.DistCp.copy(DistCp.java:656) 
    at org.apache.hadoop.tools.DistCp.run(DistCp.java:881) 
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) 
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:84) 
    at org.apache.hadoop.tools.DistCp.main(DistCp.java:908)

来源

2013-05-04 Tampa

的第一个参数是源，因此它应该是路径S3和路径应该是S3N：//，而不是S3：//（本机S3），除非你使用写入的数据S3 s3：//（块文件系统）

来源

2013-05-05 09:40:51 SNeumann

你的意思是如果数据是用“s3：//”写的，那么你只能用“s3：//”来检索它，和“s3n：//一样” “？ – soulmachine 2014-12-18 22:23:44

从s3到hadoop的distcp - 文件未找到

回答

相关问题