2016-11-17 123 views
0

我在Google云端部署了一个9节点的Datastax群集。Google云端pub/sub到Datastax Cassandra(在谷歌云中)

现在我已经被要求从QUEUE中读取数据并加载到Google云上的Datastax(Continues Streaming)中。

我知道pub/sub可以从QUEUE中读取数据,但不知道它是否可以直接加载到Datastax中。

pub/sub是否可以将数据加载到Google云上的Datastax中?

我是pub/sub新手,所以不确定从哪里开始或如何开始。

感谢,

+0

可能的重复[使用pub/sub读取邮件并将其加载到Google Cloud上的Datastax](https://stackoverflow.com/questions/40633741/read-the-messages-using-pub-sub-and-负载它 - 进入 - datastax-上谷歌云) –

回答

0

没有从谷歌Cloud发布/订阅的数据加载到Datastax自动方式。您将不得不创建一个订阅,并写入从该订阅获取消息的订阅者代码,然后将其写入Datastax。 可能是开始采取必要步骤的好地方。

0

一种方法是从Pub/Sub读取数据流管道(以流模式运行)并写入Cassandra。 Dataflow中没有内置Cassandra接收器(尽管one is in the works作为Apache Beam的一部分),但它可能足以让您的用例在Dataflow ParDo中写入Cassandra。