蒙戈-的hadoop - saveAsNewAPIHadoopFile（） - 旧的文件夹不被清理

Question

说明

我们的应用程序正在使用蒙戈-hadoop的saveAsNewAPIHadoopFile（）方法来写入到蒙戈。它在几天内运行良好，但在某些时候，它达到用作临时输出缓冲区的HDFS文件夹的项目/名称配额限制。这导致MongoRecordWriter类中的“无法打开用于缓冲Mongo输出的临时文件”异常（请参阅下面的堆栈跟踪），并阻止从应用程序进一步写入MongoDB。

做一些挖掘后，我们注意到，cleanupResources（最终TaskAttemptContext taskContext）在蒙戈-的Hadoop的MongoOutputCommitter类方法删除的输出任务创建的临时文件，但不包含每一个临时文件夹。我们还没有找到任何设置/配置选项来控制该行为。我们可以增加该HDFS文件夹的名称配额，但这可能会对HDFS产生性能影响，并且不会解决任何问题。我们可以有一个nohup维护工作，但这是一个额外的人工管理，我们认为这是一个解决方法。

质询

1. 有什么办法来控制通过配置这种行为？
2. 如果没有，这可以被认为是一个功能或错误？也许这是 留给HDFS管理员来管理旧的临时空 文件夹，虽然我不确定。

堆栈跟踪

java.lang.RuntimeException: Could not open temporary file for buffering Mongo output 
    at com.mongodb.hadoop.output.MongoRecordWriter.<init>(MongoRecordWriter.java:78) 
    at com.mongodb.hadoop.MongoOutputFormat.getRecordWriter(MongoOutputFormat.java:46) 
... 
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.FSLimitException$MaxDirectoryItemsExceededException): The directory item limit of /user/ec2-user/tmp is exceeded: limit=1048576 items=1048576 
    at org.apache.hadoop.hdfs.server.namenode.FSDirectory.verifyMaxDirItems(FSDirectory.java:2021) 
    at org.apache.hadoop.hdfs.server.namenode.FSDirectory.addChild(FSDirectory.java:2072) 
    at org.apache.hadoop.hdfs.server.namenode.FSDirectory.unprotectedMkdir(FSDirectory.java:1841) 
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsRecursively(FSNamesystem.java:4348) 
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInternal(FSNamesystem.java:2748) 
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInt(FSNamesystem.java:2632) 
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFile(FSNamesystem.java:2519) 
    at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.create(NameNodeRpcServer.java:566) 
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.create(ClientNamenodeProtocolServerSideTranslatorPB.java:394) 
    at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java) 
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:619) 
    at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:962) 
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2039) 
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2035) 
    at java.security.AccessController.doPrivileged(Native Method) 
    at javax.security.auth.Subject.doAs(Subject.java:415) 
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1635) 
    at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2033) 

    at org.apache.hadoop.ipc.Client.call(Client.java:1471) 
    at org.apache.hadoop.ipc.Client.call(Client.java:1402) 
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:232) 
    at com.sun.proxy.$Proxy21.create(Unknown Source) 
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.create(ClientNamenodeProtocolTranslatorPB.java:295) 
    at sun.reflect.GeneratedMethodAccessor27.invoke(Unknown Source) 
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
    at java.lang.reflect.Method.invoke(Method.java:606) 
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:187) 
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102) 
    at com.sun.proxy.$Proxy22.create(Unknown Source) 
    at org.apache.hadoop.hdfs.DFSOutputStream.newStreamForCreate(DFSOutputStream.java:1725) 
    at org.apache.hadoop.hdfs.DFSClient.create(DFSClient.java:1669) 
    at org.apache.hadoop.hdfs.DFSClient.create(DFSClient.java:1594) 
    at org.apache.hadoop.hdfs.DistributedFileSystem$6.doCall(DistributedFileSystem.java:397) 
    at org.apache.hadoop.hdfs.DistributedFileSystem$6.doCall(DistributedFileSystem.java:393) 
    at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81) 
    at org.apache.hadoop.hdfs.DistributedFileSystem.create(DistributedFileSystem.java:393) 
    at org.apache.hadoop.hdfs.DistributedFileSystem.create(DistributedFileSystem.java:337) 
    at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:914) 
    at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:895) 
    at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:792) 
    at com.mongodb.hadoop.output.MongoRecordWriter.<init>(MongoRecordWriter.java:75) 
    ... 9 more 

Answer 1

据报道，作为bug。它在r2.0.0-rc0的commit中被修复。

Answer 2

我也遇到过这个例外，但我使用的版本是2.0.2。它可能还没有被修复。