尝试运行配置单元时出错

我已经在aws ec2 Ubuntu 14.04实例的Hadoop（2.7.3）上安装了配置单元（2.1.1）。早些时候，我通过只输入命令start-all.sh和分群现在当我尝试我做我得到错误的波纹管尝试运行配置单元时出错

_Logging使用初始化配置罐中能够启动蜂巢：文件：在/ usr/local/hive/lib/hive-common-2.1.1.jar！/hive-log4j2.properties Async：true 线程“main”中的异常java.lang.RuntimeException：org.apache.hadoop.ipc.RemoteException（org。 apache.hadoop.hdfs.server.namenode.SafeModeException）：无法创建目录/ tmp/hive/hduser/77c5347f-bcdb-452b-9a99-86f45827933a。名称节点处于安全模式。 NN上资源不足。请添加或释放更多资源，然后手动关闭安全模式。注意：如果在添加资源之前关闭安全模式，NN将立即返回到安全模式。使用“hdfs dfsadmin -safemode leave”关闭安全模式。在org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkNameNodeSafeMode（FSNamesystem.java:1327）在org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs（FSNamesystem.java:3895）在org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs（NameNodeRpcServer.java:984）在org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs（ClientNamenodeProtocolServerSideTranslatorPB.java:622）在org.apache。 hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos $ ClientNamenodeProtocol $ 2.callBlockingMethod（ClientNamenodeProtocolProtos.java）在org.apache.hadoop.ipc.ProtobufRpcEngine $服务器$ ProtoBufRpcInvoker.call（ProtobufRpcEngine.java:616）在org.apache.hadoop .ipc.RPC $ Server.call（RPC.java:982） at org.apache.hadoop.ipc.Server $ Handler $ 1.run（Server.java:2049） at org.apache.hadoop.ipc.Server $ Handler $ 1.run（Server.java:2045） at java。 security.AccessController.doPrivileged（Native Method） at javax.security.auth.Subject.doAs（Subject.java:415） at org.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation.java:1698） at org .apache.hadoop.ipc.Server $ Handler.run（Server.java:2043）

at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:591) 
    at org.apache.hadoop.hive.ql.session.SessionState.beginStart(SessionState.java:531) 
    at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:705) 
    at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:641) 
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
    at java.lang.reflect.Method.invoke(Method.java:606) 
    at org.apache.hadoop.util.RunJar.run(RunJar.java:221) 
    at org.apache.hadoop.util.RunJar.main(RunJar.java:136)

产生的原因：org.apache.hadoop.ipc.RemoteException（org.apache.hadoop.hdfs.server.namenode .SafeModeException）：无法创建目录/ tmp/hive/hduser/77c5347f-bcdb-452b-9a99-86f45827933a。名称节点处于安全模式。 NN上资源不足。请添加或释放更多资源，然后手动关闭安全模式。注意：如果在添加资源之前关闭安全模式，NN将立即返回到安全模式。使用“hdfs dfsadmin -safemode leave”关闭安全模式。在org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkNameNodeSafeMode（FSNamesystem.java:1327）在org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs（FSNamesystem.java:3895）在org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs（NameNodeRpcServer.java:984） at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs（ClientNamenodeProtocolServerSideTranslatorPB.java:622） at org.apache。 hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos $ ClientNamenodeProtocol $ 2.callBlockingMethod（ClientNamenodeProtocolProtos.java）在org.apache.hadoop.ipc.ProtobufRpcEngine $服务器$ ProtoBufRpcInvoker.call（ProtobufRpcEngine.java:616）在org.apache.hadoop .ipc.RPC $ Server.call（RPC.java:982） at org.apache.hadoop.ipc.Server $ Handler $ 1.run（Server.java:2049） at org.apache.hadoop.ipc.Server $ Handler $ 1.run（Server.java:2045） at java。 security.AccessController.doPrivileged（Native Method） at javax.security.auth.Subject.doAs（Subject.java:415） at org.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation。Java的：1698）在org.apache.hadoop.ipc.Server $ Handler.run（Server.java:2043）

at org.apache.hadoop.ipc.Client.call(Client.java:1475) 
    at org.apache.hadoop.ipc.Client.call(Client.java:1412) 
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:229) 
    at com.sun.proxy.$Proxy30.mkdirs(Unknown Source) 
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.mkdirs(ClientNamenodeProtocolTranslatorPB.java:558) 
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
    at java.lang.reflect.Method.invoke(Method.java:606) 
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:191) 
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102) 
    at com.sun.proxy.$Proxy31.mkdirs(Unknown Source) 
    at org.apache.hadoop.hdfs.DFSClient.primitiveMkdir(DFSClient.java:3000) 
    at org.apache.hadoop.hdfs.DFSClient.mkdirs(DFSClient.java:2970) 
    at org.apache.hadoop.hdfs.DistributedFileSystem$21.doCall(DistributedFileSystem.java:1047) 
    at org.apache.hadoop.hdfs.DistributedFileSystem$21.doCall(DistributedFileSystem.java:1043) 
    at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81) 
    at org.apache.hadoop.hdfs.DistributedFileSystem.mkdirsInternal(DistributedFileSystem.java:1043) 
    at org.apache.hadoop.hdfs.DistributedFileSystem.mkdirs(DistributedFileSystem.java:1036) 
    at org.apache.hadoop.hive.ql.session.SessionState.createPath(SessionState.java:732) 
    at org.apache.hadoop.hive.ql.session.SessionState.createSessionDirs(SessionState.java:655) 
    at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:563) 
    ... 9 more

那么如何解决它（我试过HDFS dfsadmin -safemode离开），但没有用

来源

2017-05-09 Rudresh

检查hdfs上的可用磁盘空间。 – philantrovert

谢谢@philantrovert我的磁盘空间很低，所以我释放了一些空间，并能够顺利启动配置单元 – Rudresh

我的磁盘空间低，我的HDFS已经客满，我打扫HDFS，并能启动蜂巢顺利

我尝试下面的命令

HDFS dfsadmin -report

HDFS dfsadmin -safemode离开

HDFS DFS -rm -R “目录名，其中，含有垃圾-文件”

特别感谢@philantrovert :)

来源

2017-05-09 15:18:29 Rudresh

如果目录包含，您可能需要使用'hdfs dfs -rm -r -skipTrash/hdfs/path/to/dir'你根本不需要的数据。否则，所有被删除的文件将累积在您的/ user//.Trash'目录下 – philantrovert

尝试运行配置单元时出错

回答

相关问题