关于在EC2/S3上部署数据运算应用程序的文章已有很多,但我想知道,开发此类应用程序的典型工作流程是什么?用于在amazon ec2/S3上开发数字运算应用程序的工作流程
比方说,我有一个1 TB的时间序列数据开始,我已经设法将其存储在S3上。我将如何编写应用程序并进行交互式数据分析来构建机器学习模型,然后编写大型程序来测试它们?换句话说,在这种情况下如何建立一个开发环境?我是否启动EC2实例,在其上开发软件并保存更改,并且每次我想要做一些工作时关闭?
通常,我启动R或Pylab,从本地驱动器读取数据并进行分析。然后,我根据该分析创建应用程序,并让它在这些数据上松动。
关于EC2,我不知道我是否可以做到这一点。人们是否将数据保存在本地进行分析,并且只有在大型仿真作业运行时才使用EC2?
我很想知道其他人在做什么,特别是那些拥有基于EC2/S3的整个基础架构的初创公司。
感谢分享。所以基本上,你会保留一个本地(非亚马逊)的数据副本,也可以在本地开发(非亚马逊),但在亚马逊上运行实验? – signalseeker 2010-02-19 17:39:55
我们的业务不是实验,但基本上就是我们所做的。部分应用程序包括非常大的税表和规则。我们在自己的网络中维护它们,并在费率或规则发生变化时(通常每个月底午夜)将更新推送到亚马逊。 – 2010-02-19 19:44:57