Web应用程序中的大数据分析

假设我有非常大的时间序列数据。我将这些非常大的数据存储在像Google BigTable这样的存储中。我可以非常快速地从存储中查询和获取数据。所以我可以处理存储问题。到此为止，这个过程非常高效。Web应用程序中的大数据分析

现在我有一个Web应用程序。我想分析存储在BigTable中的大型时间序列，并将结果可视化。我想对那个超过一百万分的时间序列进行统计评估。所以我有一个解决方案来存储时间序列，我可以从存储中获得正确的时间序列，但是当我将它们从存储中取出时，我不知道如何处理时间序列。

我必须使用哪些服务器端工具来处理大数据？哪些方法可以做到这一点？并行化后端和Web前端的聚合可视化？当我无法以同样有效的方式使用大数据时，在存储数据方面效率不高。

来源

2015-07-20 CPA

除非你想重新发明它，请使用google bigquery而不是bigtable。 https://cloud.google.com/bigquery/what-is-bigquery

来源

2015-07-20 15:27:50

好的，我也可以使用bigquery来代替。但是我仍然有这个问题，在离开存储之后应该如何处理数据？ – CPA

你没有把它从存储原始。它是一个数据库。看文档。 –

假设我有十亿个存储条目。我想要对超过一百万个条目进行简单的平均计算。我怎样才能做到这一点？我以为我必须拿出百万条记录并进行统计分析？ – CPA

作为BigTable/BigQuery的替代品，您可以尝试ATSD，它已经做到了您所需要的。它是基于HBase的时间序列数据库。它具有内置的可视化功能，您可以直接在窗口小部件中聚合任何数量的数据，也可以使用API检索聚合的数据。如果你正在存储传感器数据，这里是一个很好的示例用例：https://axibase.com/environmental-monitoring-using-big-data/

来源

2015-07-21 10:42:24 Thefonkleurrr

Web应用程序中的大数据分析

回答

相关问题