hadoop

0热度

1回答

得到“EsHadoopIllegalArgumentException：索引[汽油/ petrolCat]丢失和设置”，同时从蜂巢到ES的数据编号

有人可以请帮我解决这个错误。由于此例外，我无法将Hive数据加载到Elastic Search。 --Hive控制台代码 Hive> > create external table petrol_es(distributer_id STRING,distributer_name STRING,amt_IN STRING,amy_OUT STRING,vol_IN INT,vol_OUT

0热度

2回答

Hadoop的减速定制可写

我有这个下面减速类 public class CompanyMinMaxReducer extends Reducer<Text, DateClosePair, Text, Text> { private Text rText = new Text(); public void reduce(Text key, Iterable<DateClosePair> values, Cont

0热度

1回答

复制的Json从本地平面文件到HDFS

package com.Main; import java.io.BufferedInputStream; import java.io.FileInputStream; import java.io.IOException; import java.io.InputStream; import java.io.OutputStream; import java.net.URI;

0热度

2回答

在单个mapreduce中同时产生最大值和最小值

我刚刚开始使用MRJob库在Python中编写MapReduce程序。在视频教程中演示的一个示例是通过location_id查找最高温度。接下来写的另一个程序，通过location_id找到最低温度也很简单。我在想，是否有一种方法可以通过location_id在单个mapreduce程序中产生最大和最小温度？下面是我走在它： from mrjob.job import MRJob '''S

0热度

1回答

Hive合并小ORC文件

我的输入包含大量的小ORC文件，我希望在一天的每一天结束，我想将数据拆分为100MB的块。我的输入和输出都是S3和环境中使用的电子病历，蜂巢参数，正在设置， set hive.msck.path.validation=ignore; set hive.exec.reducers.bytes.per.reducer=256000000; SET hive.exec.dynamic.parti

0热度

1回答

Reducer可以在Hadoop mapreduce中传递给驱动程序的消息吗？

我必须实现一个map-reduce作业循环。每次迭代将根据前一次迭代终止或继续。要做出的选择是基于“在减速器输出中出现一个词”。当然，我可以用我的驱动程序检查整个输出txt文件。但它只是一个单词，并且通过整个文件将会矫枉过正。我正在考虑是否有任何方法来建立减速器和驱动程序之间的通信，一旦它检测到这个词，减速器可以通知驱动程序？由于要传输的消息很少。

0热度

2回答

多个文件作为输入到Hadoop Dfs和mapreduce

通常我们在一个文本文件中输入到java文件（比如简单的字数问题）。相反，现在我有100个csv文件，我想给作为我的java代码的输入（所有文件不能简单地合并为一个文件）。试图预测给定100个股票的最大/最小股票波动率，因此每个csv文件是唯一的。那么，如何将csv文件的整个文件夹作为java程序的输入流。

0热度

1回答

Cloudera Hadoop VM 5.10 - 找到HDFS路径？

已将Cloudera VM和加载的数据文件安装到HDFS中。命令“hadoop fs -ls /”帮助我验证hdfs中的数据。但想知道它所在的物理位置？任何建议都会有所帮助。

0热度

1回答

Hadoop 2.x上的应用程序（作业）列表为空

我在macOS Sierra（Darwin内核版本16.7.0）上安装Hadoop 2.8.1，并且它工作正常，除了应用程序/任务跟踪。 1）起初，我认为这是资源管理器Web界面的问题。所以：我已经将yarn-site.xml模板复制到etc/yarn-site.xml文件中，但它没有帮助。我试图改变默认的'博士。谁在Resource manager（http://localhost:1808

0热度

1回答

输出不是在hadoop中产生的

我正在尝试使用mapreduce查找每个小部件的平均值。该作业被成功完成，但使用Hadoop FS -cat用户/流浪/示例-1 /部分-R-00000 public static class MaxWidgetReducer extends Reducer<Text, FloatWritable, FloatWritable, NullWritable> { public void