hadoop2

0热度

1回答

在MultipleOutput中限制no映射器没有在hadoop reducer

您好我有一个应用程序，从HBase中读取记录并写入文本文件HBase表有200个区域。我在映射器类中使用MultipleOutputs写入多个文件，我从传入的记录中创建文件名。我制作了40个独特的文件名。我能够正确地获取记录，但我的问题是，当mapreduce完成时，它会创建40个文件，并且还会创建2k个带有专有名称的额外文件，但附加和m-000等等。这是因为我有200个地区和Multi

0热度

1回答

HDFS数据大小和Hive数据大小的差异

我在Hive中有一个表。当我运行的命令show tblproperties myTableName，它提供了以下结果： numFiles 12 numRows 1688092 rawDataSize 934923162 totalSize 936611254 这意味着rawDataSize is 934.92 MB and totalSize is 936.61 MB 而且，

0热度

1回答

什么是Hadoop的webhdfs和天青之差webhdfs

Hadoop的webhdfs：https://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/WebHDFS.html Azure的webhdfs：https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-overview

0热度

1回答

在PIG中使用JsonLoader

REGISTER 'hdfs:///user/flume/elephant-bird-hadoop-compat-4.1.jar'; REGISTER 'hdfs:///user/flume/elephant-bird-pig-4.1.jar'; REGISTER 'hdfs:///user/flume/elephant-bird-core-4.1.jar'; REGISTER 'hdfs:

0热度

1回答

Hadoop中reducer的好处是什么？

我没有看到一个值，在以下情况下Hadoop中的减速器： map任务生成唯一的密钥（因为我们可以合并这两个地图/起来，从而降低功能）输出map任务的尺寸过大（这将耗尽内存，如果我们等待减速开始工作）如果我们不需要分组和按键的排序任何功能如果我错了，请纠正我。如果有人能给我一个真正的减速器的好处的例子，当它应该使用，我会很感激。

1热度

1回答

如何在单节点中同时运行多个映射器

我在Mac中使用Hadoop 2.8.0。我想同时运行所有的映射器。我试图通过强制创建多个输入文件并使用多个输入文件，以便创建多个映射器。他们被创建，但他们顺序运行。我看到在输出是这样的：开始任务**** _ M_0 ............... finising任务**** _ M_0 开始任务**** _ M_1 为什么映射器运行了一个又一个？我如何配置以便它们一次启动？

0热度

1回答

Hadoop - 无法找到或加载主类org.apache.hadoop.hdfs.qjournal.server.JournalNode

尝试运行日志节点时失败。与以下错误： ./hadoop-daemon.sh start journalnode Error: Could not find or load main class org.apache.hadoop.hdfs.qjournal.server.JournalNode 它可能是什么？这里是我的核心的site.xml <?xml version="1.0" enc

1热度

2回答

SPARK在Ambari HDP 2.5.0中单独升级到2.1.0

我想从Ambari的默认2.0.x.2.5升级我的SPark组件到2.1.0。我在Ambari 2.4.2中使用HDP 2.5.0。欣赏任何想法来实现这一点。

0热度

1回答

权限在从本地系统将文件从STS java程序复制到HDFS时发生Dennied

我在HDFS上尝试使用hadoop conf和fs软件包中的Configuration和FileSystem类将文件从本地系统复制到HDFS文件系统如下： import java.io.BufferedInputStream; import java.io.FileInputStream; import java.io.InputStream; import java.io.OutputSt

0热度

1回答

当mapreduce作业完成时，临时目录没有从输出位置删除

我正在解析数据以便通过MapReduce作业获得某种意义。解析的数据以批次的形式出现。它通过火花流工作进一步加载到配置外部表。这是一个实时过程。现在我面临一个不寻常的事件，因为在输出位置创建了_temporary目录，由于目录无法加载到配置单元表中，因此加载到配置单元表失败。它只发生过一次，其余的工作都运行良好。请参阅截图。 _temporary目录中还包含任务ID作为子目录它们是空的。任何人都可