yarn

    0热度

    1回答

    当运行start-all.sh我SLAVE1和SLAVE2不能在节点管理器与JPS VM VirtualBox的 主发现在Ubuntu 16.04 工作 [email protected]:~$ jps 15920 Jps 15505 SecondaryNameNode 15659 ResourceManager 15293 NameNode SLAVE1 [email protect

    0热度

    1回答

    我已经用2.3.1配置了Apache Hadoop 2.7.4,Hbase 1.2.6和Solr 6.6.1。我mapred-site.xml所有节点上是 <property> <name>mapreduce.jobtracker.address</name> <value>master:9001</value> </property> <property> <

    1热度

    1回答

    为了教育目的,我试图让Yarn + Spark重新尝试我的Spark工作(即失败,并在另一个应用程序尝试中将其重新安排到纱线上)。 各种故障似乎会导致Spark作业重新运行;我知道我已经看过这么多次了。但是我很难模拟它。 我试图强制停止流上下文,并调用System.exit(-1),既没有达到预期的效果。

    0热度

    1回答

    我们无法续订使用Java代码从密钥表Kerberos用户车票,而它的工作与“使用kinit -R” 代码: UserGroupInformation loginUser = UserGroupInformation.getLoginUser(); loginUser.checkTGTAndReloginFromKeytab(); 请帮我一把。

    0热度

    1回答

    我正在使用火花和纱线作为我的资源经理。我试着找到一种方法来收集运行后分配给作业的资源。资源管理器仅报告当前使用情况,因此在完成后将其清零。 如果在事实之后我不能得到它们,有什么方法让Spark工作在最后输出/存储时积累统计信息?

    0热度

    1回答

    我目前正在开发Spark(v 2.2.0)Streaming应用程序,并且遇到Spark似乎在整个集群中分配工作的问题。此应用程序使用客户端模式提交给AWS EMR,因此有一个驱动程序节点和一对工作节点。下面是神经节的截图,显示在过去一小时内存使用: Ganglia Screenshot 最左边的节点是“主”或“驱动程序”节点,另外两个是工作节点。所有三个节点的内存使用率都会出现峰值,这些峰值与通

    0热度

    1回答

    我们有一个运行火花命令,但我们正面临着一些磁盘空间问题 所以我们想利用 conf,yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk- percentage=99.0 ,但我们得到了我们的日志Warning: Ignoring non-spark config property: yarn.nodem

    3热度

    1回答

    我设置了spark-yarn集群环境,spark(2.2.0)在Windows 7中;纱线簇是hadoop 2.7.3。 我跑“火花壳”使用SparkSQL: spark-shell --master yarn --deploy-mode client --conf spark.yarn.archive=hdfs://hadoop_273_namenode_ip:namenode_port/spa

    3热度

    2回答

    我试图重写火花性能,如num-executors在提交应用程序火花提交如下:但是它与执行人是2的默认号码运行 spark-submit --class WC.WordCount \ --num-executors 8 \ --executor-cores 5 \ --executor-memory 3584M \ ...../<myjar>.jar \ /public/blahblahb

    0热度

    1回答

    我在macOS Sierra(Darwin内核版本16.7.0)上安装Hadoop 2.8.1,并且它工作正常,除了应用程序/任务跟踪。 1)起初,我认为这是资源管理器Web界面的问题。所以: 我已经将yarn-site.xml模板复制到etc/yarn-site.xml文件中,但它没有帮助。 我试图改变默认的'博士。谁在Resource manager(http://localhost:1808