java中的并行处理框架

Question

我是这个主题的新手。我决定为我的项目开发Java中的云数据处理应用程序的并行处理框架。该框架必须划分给定的顺序Java代码并在云中的不同虚拟机中处理该子代码。框架必须根据负载动态分配和释放资源。我的问题是如何开发框架。

是否有任何库可用于将Java代码安排到云中的不同虚拟机中？请告诉我是否有任何事情可用。

Answer 1

有解决方案，如Hazelcast，Hadoop等您可以看看这个项目。

Answer 2

看看Hadoop，这个框架允许基本相同的事情，并支持在集群上自动部署代码。

Answer 3

Terracotta和Gridgain是优秀的解决方案。那些被yerlikayaoglu（Hadoop和hazelcast）引用的领域在他们的领域也非常出色，但它们都是4个非常不同的，并且取决于用例。这是为了映射/减少的问题

另一个是虚拟机的分配/解除分配。这取决于您的云提供商和其他一些事情。你可以看看jClouds

Answer 4

如果你想做实时处理，你可以看看storm。 另外Akka为scala和java提供了很好的远程参与者API。