Hadoop中输入拆分的默认大小

Hadoop中输入拆分的默认大小是多少？据我所知，块的默认大小是64 MB。在Hadoop jar中是否有任何文件可以看到所有这些东西的默认值？像默认复制因子等，就像Hadoop中的任何默认值一样。Hadoop中输入拆分的默认大小

2016-01-23 Mohit Jain

请记住这两个参数：mapreduce.input.fileinputformat.split.minsize和mapreduce.input.fileinputformat.split.maxsize。我将这些分别称为minSize，maxSize。默认情况下，minSize是1个字节，maxSize是Long.MAX_VALUE。块大小可以是64MB或128MB或更多。 MAX（minSize属性，分钟（MAXSIZE，BLOCKSIZE）

礼貌：：Hadoop的：

输入分割大小由这样的式运行期间计算。权威指南

来源

2016-01-26 06:54:51 Marco99

是的，您可以在hadoop etc/conf文件夹中看到所有这些配置。
有多种文件：core-default.xml，hdfs-default.xml，yarn-default.xml和mapred-default.xml。
它包含hadoop集群的所有默认配置，它也可以被覆盖。您可以参考以下链接：
https://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/core-default.xml
https://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

而且，如果你还没有在地图任何输入分流大小定义/缩小程序则默认HDFS块分割将被视为输入分离。

来源

2016-01-23 17:42:13

嗨，感谢那么，什么是默认输入分割大小？我在这些文件中找不到。 –

更新了答案。希望它对你有所帮助 –

当你没有明确指定时，你能给我一个参考吗？输入拆分大小，那么默认的HDFS块拆分将被视为输入拆分？ –

Hadoop中输入拆分的默认大小

回答

相关问题