2015-08-28 81 views
0

我为从智能电表接收数据的公司工作。这些数据可能会有2天的时间用于直播,并且可能会在发生错误(间隙等)时发布。目前我们通常存储这个5年。然后将数据拉入SSAS立方体并聚合成1分钟,5分钟,30分钟,1小时,1天,1周,1个月的总计。对于这些聚合中的每一个,最小值,最大值,平均值也被存储。 构建此多维数据集速度很慢,并且由于它从单一来源中挖掘其数据,因此目前不可扩展。RRD时间系列数据

我认为每个数据点的RRD风格数据库会更适合数据推送。 不过我对RRD几个问题(示例将是最受欢迎的)

  1. RRD可以保留数据的粒度,同时也超过 时间长达执行卷?
  2. 是否可以将数据输入RRD以纠正差距?

谢谢。

例子会受到欢迎

回答

1
  1. 是 - 你需要适当地配置您的RRA。

RRA是一个循环归档文件,它定义了数据点的数量和分辨率。所以,你可以 - 假设有5分钟采样率:

RRA:AVERAGE:0.5:1:2000 
RRA:AVERAGE:0.5:12:2400 

将持有5m左右分辨率的一周,1小时分辨率的100D。但是你可以很容易地扩展你的5米分辨率RRA--尽管它会让你的RRD变大。问题是 - 你真的需要吗? RRD的全部重点是自动归档与图形分辨率 - 查看一年的统计数据,无论如何您都无法呈现5米分辨率。使用5m样本,1600px宽的图形只有6天左右。

  1. 是的,但是由于RRD的工作方式,这有点烦人。实际上,您必须提取并重放数据以填补空白。如果你正在'重放'你失去了解决方案的东西,这不一定会奏效,因为你没有足够的样本。你可以用rrdtool dump来提取XML格式的RRD内容,你也可以直接修改它,然后rrdtool restore它。如果你需要用任何实际的频率做这个,我建议使用rrdtool以外的东西。
+0

不幸的是我问过这个要求是否是真正的要求之前,我听说客户希望本周与同一周进行比较(对齐周一至周五)-1y -2y -3y等。 m认为RRD风格而不是RRDtool本身。 – Mark

+0

RRDtool会做到这一点,但你正在失去很多存档的好处。没有办法解决这个事实,如果你想长时间保持高分辨率,你需要存储大量的数据点。 – Sobrique