2017-06-03 73 views

回答

1

Hadoop是为物理系统开发的,但它在虚拟环境中会以不同程度的成功运行,它取决于特定的环境。

这实际上是hadoop邮件列表中的一个常见问题,Hadoop开发人员在Hadoop Wiki文章中特别提到了这个问题:Virtual Hadoop。本文将介绍每种方法的优缺点,并讨论云部署。您应该阅读本文,了解您所处的部署场景,并评估您的VM设置中可能存在的问题。

0

如果您打算为HDFS使用虚拟机,请注意复制。默认情况下,HDFS将所有数据存储在64mb的块中,并将每个块复制到3个不同的节点。此外,至少有一个副本应位于不同的物理机架中 - 请参阅“机架感知”功能。如果虚拟化数据的所有3个副本恰好位于单个物理主机/硬盘上,则在硬件故障的情况下可能会遇到问题。

另一个潜在的警告可能是I/O性能。如果您为虚拟机使用基于文件的磁盘映像而不直接访问磁盘,则I/O开销可能会相当大。而且,在很多情况下,虚拟机无法利用物理主机上的文件系统缓存。

另一方面,虚拟机管理和配置应该更容易。

否则,请参阅https://stackoverflow.com/a/44355754/1421254的答案。

相关问题