在Pivotal Cloud Foundry上使用Spark Runner部署的Apache Beam

我有使用Spark Runtime引擎部署Apache Beam应用程序的需求。我的问题是如果我可以在Pivotal Cloud Foundry环境中部署Spark应用程序。如果可以，请提供示例。在Pivotal Cloud Foundry上使用Spark Runner部署的Apache Beam

感谢

2017-09-12 VIjay

是，Cloud Foundry上可以运行的Apache星火应用。 CF现在可以安装持久卷，管理Spark集群本身的容器网络，并为不同类型的计算节点提供隔离段（例如，识别具有高性能网络的子集群，可能更适合Spark应用程序和。通用应用程序）。

对于要提供给Spark或Spark输出的数据，您仍然需要CF之外的后备存储。这可能是HDFS，Cassandra，JDBC/SQL，NFS，HTTP/S3等。

Cloud Foundry是无状态的，但它非常有能力运行像Spring Cloud Data Flow这样的工作负载，以及Hbase，Hadoop，常规RDBMS，Kafka/Redis/RabbitMQ，FTP服务器，云服务......无论您真正需要什么。

这里是链接，你可以参考它们。

2017-09-13 03:38:10

回答