在AMAZON EMR上运行纱线应用程序

Question

我想在AMAZON EMR上运行雅虎项目的纱线上的纱线。在EMR上，主管本地目录无法创建。我想也许连接问题或没有权限。 你能给我一些建议吗？感谢您的帮助。

2017年3月1日11时38分02秒的主管[ERROR]上 服务器MK-监java.io.IOException的初始化错误：无法创建目录 的/ mnt /纱线，/ mnt1上/纱线/ usercache/yarn/appcache/application_1488367739843_0002/container_1488367739843_0002_01_000006/storm/storm-1.0.1/storm-local/supervisor at org.apache.storm.shade.org.apache.commons.io.FileUtils.forceMkdir（FileUtils.java:2384 ） 〜[storm-core-1.0.1.jar：1.0.1] at org.apache.storm.config $ supervisor_local_dir.invoke（config.clj：172） 〜[storm-core-1.0.1.jar ：1.0.1] at org.apache.storm.config $ supervisor_isupervisor_dir.invoke（config.clj：177） 〜[storm-core-1.0.1.jar：1.0.1] at org.apache.storm.daemon.supervisor $ fn__9230 $ exec_fn__2461__auto ____ 9231.invoke（supervisor.clj：781） 〜[storm-core-1.0。 1.jar：1.0.1] at clojure.lang.AFn.applyToHelper（AFn.java:160）〜[clojure-1.7.0.jar :?] at clojure.lang.AFn.applyTo（AFn.java： 144）〜[clojure-1.7.0.jar :?] at clojure.core $ apply.invoke（core.clj：630）〜[clojure-1.7.0.jar :?] at org.apache.storm。 daemon.supervisor $ fn__9230 $ mk_supervisor__9275.doInvoke（supervisor.clj：779） [storm-core-1.0.1.jar：1.0.1] at clojure.lang.RestFn.invoke（RestFn.java:436）[clojure -1.7.0.jar :?]在 org.apache.storm.daemon.supervisor $ _launch.invoke（supervisor.clj：1216） [storm-core-1.0.1。 jar：1.0.1] at org.apache.storm.daemon.supervisor $ _main.invoke（supervisor.clj：1249） [storm-core-1.0.1.jar：1.0.1] at clojure.lang。 AFn.applyToHelper（AFn.java:152）[clojure-1.7.0.jar :?] at clojure.lang.AFn.applyTo（AFn.java:144）[clojure-1.7.0.jar :?] at org.apache.storm.daemon.supervisor.main（来源不明） [风暴核心1.0.1.jar：1.0.1]

Answer 1

1. 密码的ssh已经是默认的，你将有特别是使用密码SSH登录（并且这样做不是一个好主意，因为它比使用密钥对更安全，我认为这是你的意思“没有密码的ssh登录”）。

当您创建EMR集群时，您可以选择指定要使用的SSH密钥的名称（在已经上传公钥或使用AWS Console/CLI为您创建密钥对之后），那么您可以使用私钥（通常为.pem文件）将SSH连接到EMR集群的主实例。

欲了解更多信息，请访问以下网页： http://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-connect-master-node-ssh.html http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ec2-key-pairs.html

这很难说是什么问题，因为你没有提供太多的信息，但它听起来像你可能以'ec2-user'的身份登录到群集。在使用EMR时，您应该以“hadoop”用户身份登录群集。如果这不能解决您的问题，请更新问题，并提供更多关于您正在进行的操作的详细信息。