原型为亚马逊Ec2

Question

人们（和创业公司）如何实际上在亚马逊上进行原型设计/部署，并保持成本合理？上个月，我们正在试验一些特定的应用程序并运行自己的hadoop集群，并设法花费近1.5k进行测试？当然 - 他们有微型实例，但如果你的应用程序如此紧张，实际上需要更大的实例才能测试呢？所以我想就人们如何去做这件事提供一些意见？

Answer 1

几个关键问题：

1. 考虑为了某种目的&考虑，如果给定的测试确实需要EC2本地测试平台。如果将2-4台机器用作Hadoop的测试平台确实非常困难，那么存在另一个问题。让你的头脑围绕你将要运行的任何东西，Hadoop将如何发挥作用，以及如何踢球。随着时间的推移，您还需要更改网格，升级软件，修改其他想法等。当您进入EC2时，您已经平滑了一些粗糙的边缘。
2. 请勿在使用大容量机器时使用比您需要的更多容量的机器。如果您在这个阶段不推动大量数据或计算周期，请不要打扰集群计算节点，大量RAM实例等。只需着重于正确设置事物。
3. 当您准备重新定位到更强大的机器时，请尝试一些不同的机器设置。也许集群计算实例会得到回报，也许你不需要那种吞吐量：直到你知道自己的瓶颈，不要超支。
4. 请务必在测试阶段频繁使用斑点实例。您通常会支付约50％的按需价格。
5. 如果您希望为按需实例支付费用，请根据需要启动并停止Hadoop实例，除非您需要在群集计算实例上使用大型集群。
6. 准备好您的AMI，尽快启动（不到1分钟），如果没有必要，不要在周末或周末放置任何东西。

直到你得到系统设置和运行，你基本上支付学费，以了解如何为你的需求定制一切。只需支付“学费”即可学习每门课程（配置，瓶颈，扩展等），而不是一次尝试完成所有任务。当你将它视为一系列学习经验时，花钱不那么痛苦，但只要你知道你要测试和学习什么，你就会更加明智地花钱。

最后，将$ 1500与此学习体验的劳动力成本进行比较 - 从长远来看，这可能不是什么大问题。一旦你知道某件事将会是一个合理的计算工作块，它会很好的设计，并且会很快完成（虽然在很多机器上），但花钱并不是那么痛苦。现在，很难理解你正在学习的东西，因为它还没有对你的组织目标有所帮助。

Answer 2

考虑使用专色实例。如果你过高，你几乎可以肯定它不会被终止。从长远来看，他们在保留实例的水平上有价格，但你不需要预先支付。我相信您还可以安排非高峰时段的测试，达到更好的价格，或者如果现货实例价格超过按需定价，则可以切换到按需定制 - Hadoop应该很好地处理它。检查this article about spot instances。它还提到了另外两篇分析现场实例潜力的文章。

Answer 3

解决使用Amazon Cloud的概念验证时的成本问题。

我使用Amazon AWS API创建了一个轻量级Java应用程序，当我想对它们运行测试时，它会创建亚马逊云实例。一旦测试完成或启动失败，应用程序立即通过发送诊断邮件来终止实例。

因此，没有亚马逊的例子一直运行或坐着理想。如果您手动创建/终止或通过单独的程序，会发生这种情况。