2014-02-26 90 views
0

根据我对博客的理解,Yarn(mapred2)比hadoop的mapreduce更快或更聪明。如果它是真的,是否有办法配置Hive使用Yarn/Mapred2而没有任何复杂情况来提高性能或提高资源利用率?Apache Hive on Yarn

+0

您需要安装支持hadoop2/Yarn的Hive版本。我们在hadoop-2.2.0集群上运行Hive 0.12,并且有明显的性能提升,尽管这是轶事,我们还没有运行任何测试。 – Vishal

回答

1

蜂巢运行在Yarn的开箱即用图上。

但是,在纱线上运行一个古老的蜂巢不会是一个惊天动地的经验,你可能会测量相同的时间。你想要的是获得最新的Hive开发和改进(例如,ORC and Vectorization),并且可能尝试运行Hive on Tez。我推荐阅读关于Stinger的内容,并浏览这个deployment guide

+0

在我的测试经验中,从Hadoop 1转向Hadoop 2导致了20%-30%的提升。 Remus提到的改进要多得多。 –