战略来处理大型数据集的大量插入到表

Question

我有了一个DEVICE_STATUS表看起来是这样的一个MySQL数据库的Web应用程序...

deviceid | ... various status cols ... | created 

此表被插入多少次一天（每台设备每天2000+以上（估计到今年年底将有100多台设备））

基本上这个表在设备上发生任何事情时都会得到记录。

我的问题是我应该如何处理一个非常快速增长的表格？

1. 我应该放松一下，希望数据库在几个月内可以正常工作，当这个表有超过1000万行？然后在一年有1亿行？这是最简单的，但看起来像一个表大，会有可怕的表现。

2. 我应该在一段时间（一个月，一周）之后存档较早的数据，然后让Web应用程序为最近的报告查询实时表格，并查询实时表格和存档表格以获取涵盖更大时间跨度的报告。

3. 我应该有一个每小时和/或每日聚合表格来总结设备的各种状态吗？如果我这样做，触发聚合的最佳方法是什么？克龙？数据库触发器？另外我可能还需要归档。

必须有一个更优雅的解决方案来处理这种类型的数据。

Answer 1

我在跟踪我网站上广告客户的浏览次数方面遇到类似问题。最初，我为每个视图插入一个新行，正如你在这里预测的那样，这很快导致表的增长过于庞大（直到它确实导致性能问题，最终导致我的托管公司关闭该站点几个小时，直到我解决了这个问题）。

我使用的解决方案与您的＃3解决方案类似。在发生新视图时，我不会插入新记录，而是更新相关时间段内的现有记录。就我而言，我为每个广告每日记录一次。什么时间使用您的应用程序将完全取决于您的数据的具体细节和您的需求。

除非您需要在过去一小时内专门跟踪每个事件，否则您可能会过度使用它来存储它们并稍后进行聚合。您可以简单地检查具有匹配规格的条目，而不是使用cron作业执行常规聚合。如果找到一个，则更新匹配行的计数字段而不是插入新行。