从本地运行的Java应用程序获取数据到谷歌云应用程序并返回

Question

我想深入分布式系统，云计算，物联网等世界，我要诚实，我想像的一切都比直观它终于横空出世了。 我有一个很小的测试架构，我想与Google云和他们的服务建立，但我有点卡住，因为我不能理解我的头。

我基本上想做的事情（作为第一步）是编写一个简单的java应用程序，它可以在我的电脑上本地运行。这个应用程序应该只是生成随机数字，并将这些数字以某种方式发送到谷歌云。在云端，我想定义另一个Java应用程序，以某种方式操纵这些随机数（实际上并不重要）。之后，输出结果当然会回到我身上。而实际上，此刻，我甚至不关心如何。它可能会以某种方式回到我的本地应用程序（通过某种监听程序，这可能吗？）。但它也可以简单地将结果存储在谷歌云端的某个地方？或者也许上传到我的谷歌驱动器？

我想你已经注意到了 - 在某些地方 - 我甚至不知道我想要什么，因为我不确定什么是可能的，什么不可以。

您能否为我提供一些帮助以获得此设置？ 对我来说最重要的问题，现在是：

• 我需要使用发布订阅系统，在这里我生成的数字发送 到，并且然后转发给云应用程序，该转换我的 数据？
• 如何从本地应用程序获取数据到云服务？
• 我的数据转换应用程序是否会在Google Dataflow上运行？
• 上面我写了“作为第一步”...因为后来我还想将配置文件（例如json格式或xml）发送到云，并且云应用程序应该转换这些配置文件。 ..如果我得到的 第一个场景运行我猜这个Woul也没有问题 对不对？

这些只是我当前想到的几个问题。我猜最重要的。

这将是一个很大的帮助。对不起，如果问题不是很确切，但我真的需要某种指向正确的方向。

预先感谢您！

Answer 1

我认为这将是很好的对部分技术的读了你在这里提到：

• Google Cloud Pubsub：发布/订阅使您可以将消息发布到主题，并在另一个地方使用它们（Google）云。您可以在链接中看到发布商和消费者的一些不同示例。就你而言，例如，你可以编写一个Java应用程序，将随机数写入发布/订阅队列，在那里他们将坐7天后被另一个组件（例如Google Cloud Dataflow）使用。要开始开发，您可以找到SDK here（有一个Java SDK）。
• Google Cloud Dataflow是管理服务运行Apache Beam管道来处理您的数据的规模。您可以了解不同概念here并开始设计您的管道here。我建议首先看看一些例子，这将更容易掌握实际发生的事情。 Dataflow具有PubSub连接器，因此在您的应用程序中，您将能够从之前创建的主题中读取数据。在Dataflow中，您可以将所有随机数乘以并将其写入某个接收器（例如Google Cloud Storage，或者甚至是BigQuery或PubSub）。
• Google Cloud Storage：是一个云存储，您可以在其中放置文件，例如Dataflow管道的输出。您可以使用云控制台UI手动下载文件，也可以使用其中一个SDKs以编程方式下载输出。

希望这给你一个概述和一些指示开始。只要你准备好了，并且有一个更具体的用例，你可以开始看更多的组件。