根据我对博客的理解,Yarn(mapred2)比hadoop的mapreduce更快或更聪明。如果它是真的,是否有办法配置Hive使用Yarn/Mapred2而没有任何复杂情况来提高性能或提高资源利用率?Apache Hive on Yarn
0
A
回答
1
蜂巢运行在Yarn的开箱即用图上。
但是,在纱线上运行一个古老的蜂巢不会是一个惊天动地的经验,你可能会测量相同的时间。你想要的是获得最新的Hive开发和改进(例如,ORC and Vectorization),并且可能尝试运行Hive on Tez。我推荐阅读关于Stinger的内容,并浏览这个deployment guide。
+0
在我的测试经验中,从Hadoop 1转向Hadoop 2导致了20%-30%的提升。 Remus提到的改进要多得多。 –
相关问题
- 1. Spark on yarn-cluster提交 - Hive错误
- 2. Hive On Spark:java.lang.NoClassDefFoundError:org/apache/hive/spark/client /作业
- 3. Apache Helix vs YARN
- 4. Sparn on YARN + Secured hbase
- 5. 如何从Yarn获取Hive源SQL?
- 6. Apache Phoenix vs Hive-Spark
- 7. Apache Hive中的Unix_timestamp
- 8. 如何配置Apache Hive?
- 9. Apache Hive字符串拆分
- 10. 天。减去在HIVE APACHE
- 11. yarn-site.xml与YARN中的yarn-default.xml
- 12. Hive apache wiki一步一步跟着Hive安装问题
- 13. 启动Hive时出错:java.lang.NoClassDefFoundError:org/apache/hadoop/hive/conf/HiveConf
- 14. Apache-Camel Choice on Filetype
- 15. Ruby on Apache with mod_ruby
- 16. Django on Apache with FCGI
- 17. Hive on Spark:Missing <spark-assembly * .jar>
- 18. 32位操作系统上的Apache Hive
- 19. Apache Hive如何在Amazon上工作?
- 20. Apache Hive与普通地图减少
- 21. 作为Web服务的Apache HIVE工作
- 22. apache hive专栏评论与CTAS
- 23. Apache Hive:无法实例化org.apache.hadoop.hive.metastore.HiveMetaStoreClient
- 24. Apache Hive中的自动测试
- 25. 在Apache Hadoop和Hive上安装Hue(Redhat)
- 26. Apache Hive的安全措施是什么
- 27. Apache Hive regEx serde:数据类型
- 28. Mac OS X - Apache路径? Ruby on Apache?
- 29. 在apache中使用JdbcIO访问Hive抛出java.lang.NoClassDefFoundError:org/apache/avro/reflect/AvroSchema
- 30. Apache Spark在YARN上运行spark-shell错误
您需要安装支持hadoop2/Yarn的Hive版本。我们在hadoop-2.2.0集群上运行Hive 0.12,并且有明显的性能提升,尽管这是轶事,我们还没有运行任何测试。 – Vishal