物联网流架构

Question

我刚开始学习关于物联网和数据流。道歉，如果这个问题似乎太明显或通用。

我工作的学校项目，其中包括从物联网传感器的数百个（甚至千计）数据流，存储所述数据的数据库，然后检索这些数据对基于Web的用户界面显示。

需要注意的事项是：

1. 的容错性和接受不完整的数据的能力条目
2. 数据库必须具有加载由流

的能力和查询数据

我已经在谷歌环顾四周，了解如何构建能够支持这些要求的架构的一些想法。下面是我的想法：

1. 传感器数据收集 FluentD并将其转换成流
2. 阿帕奇星火管理的 MongoDB的服务器
          一个集群。 MongoDB服务器连接到相同的存储
           b。 星火将处理容错和负载平衡的MongoDB服务器的BigQuery之间
3. 将用于从UI/Web应用程序处理查询。

my current idea of a IoT streaming architecture

现在的问题是，这种架构是否可行，或者是否会在所有的工作。我愿意接受任何想法和建议。

提前致谢！

Answer 1

需要注意的是，你可以直接将信号传送设备数据至BigQuery和避免中间缓冲的一步。

参见： https://cloud.google.com/bigquery/streaming-data-into-bigquery