yarn

0热度

1回答

我试图运行YARN，但运行yarn-config.sh会给他下面的错误。我该如何解决它？它与我正在使用的shell的类型有关吗？ sh libexec/yarn-config.sh libexec/yarn-config.sh: 82: /opt/hadoop/2.5.1/libexec/../libexec/hadoop-config.sh: Syntax error: word unexpe

0热度

1回答

如何打包并运行斜纹示例应用程序

我正在尝试使用apache twill构建YARN应用程序。从twill presentation的幻灯片中，他们正在讨论使用maven-bundle-plugin打包hello world样本。因此，要打包示例hello world，我首先尝试打包与mvn assembly:assembly -DdescriptorId=jar-with-dependencies的罐子。然后通过添加以下到p

-1热度

1回答

提交猪作业（MRv1模式）到Mapr纱线框架

如何将作业提交给Mapr纱线框架。任何属性文件需要更改？是否必须更改在MRv1模式下运行的Pig脚本？

3热度

1回答

带火花的任务调度

我在4节点集群上运行相当大的任务。我正在阅读来自单个表格的4 GB过滤数据，并运行NaïveBaye的培训和预测。尽管HDFS在所有机器上运行，但我的HBase地区服务器运行在与公平调度模式下运行的火花群集分离的单台机器上。执行时，根据群集上活动任务的数量，我正在经历奇怪的任务分配。我发现只有一个活动任务或至多两个任务在任何时间点在一台/两台机器上运行，而另一台机器处于空闲状态。我的期望是，RD

0热度

1回答

Oozie中的Hive动作间歇性失败 - CDH 5.1 - Oozie 4.0.0

我们在简单的“create”和“alter”语句中使用oozie工作流，在Hive Action中使用“RCFILE”文件格式创建语句。我们面临的挑战是这个Hive操作有时会成功执行，有时会失败......我们无法解决这个问题。对“serde”引发“NoSuchMethodError”异常。 Failing Oozie Launcher, Main class [org.apache.oozi

0热度

2回答

Hadoop堆分配

我遇到的问题是Hadoop 2.5.1不增加我请求的堆空间增加量。 Hadoop似乎没有考虑到mapred-site.xml文件中的mapred.child.java.opts属性。在我的工作，我做了以下内容： R = new int[height * width]; G = new int[height * width]; B = new int[height * width]; 根据

9热度

2回答

如何设置Spark执行程序的数量？

我该如何从Java（或Scala）代码中配置SparkConfig和SparkContext的执行程序？我不断看到2位执行者。看起来像spark.default.parallelism不起作用，是关于不同的东西。我只需要设置执行程序的数量等于簇大小，但总是只有2个。我知道我的群集大小。如果这很重要，我就使用YARN。

2热度

1回答

如果文件夹中的hdfs dfs -rmr数据从数据节点中删除，何时？

我们知道，在我们运行rmr命令时，编辑日志已创建。数据节点是否在清除数据之前等待FSImage的更新或者同时发生？是否有任何围绕Journal节点确认事务的先决条件？试图了解HDFS编辑如何工作，其中您可能会有大量磁盘大小变化。在'hdfs dfs -du -s -h/folder'和'hdfs dfsadmin -report'反映大小减少之前需要多长时间？我们尝试删除2TB的数据，1小时后，数

1热度

1回答

YARN JobHistory错误：容器重定向失败

我们最近部署了YARN和CDH 5（2.3.0-cdh5.1.3），集群正在运行文件，作业也在运行。但我们无法从资源管理器用户界面的访问日志，如果作业完成（成功/失败），我们得到以下错误 Failed redirect for container_1412716537481_0322_01_000001 Failed while trying to construct the redirect

0热度

1回答

的AccessControlException纱线MapReduce工作

最近我们已经升级到5.1.3 CDH纱&，我们得到以下错误在MapReduce工作 at org.apache.hadoop.ipc.RemoteException.unwrapRemoteException(RemoteException.java:73) [1829/1922] at org.apache.hadoop.hdfs.DFSClient.callGetBl