从Influx转到Postgres，需要提示

Question

我用Influx来存储我们的时间序列数据。它工作的时候很酷，然后大约一个月后，它停止工作，我不知道为什么。 （类似于这个问题https://github.com/influxdb/influxdb/issues/1386）

也许Influx将有一天会很棒，但现在我需要使用更稳定的东西。我在想Postgres。我们的数据来自许多传感器，每个传感器都有一个传感器ID。所以我想我们的结构化数据，这样的：

（PK），sensorId（串），时间（时间戳），价值（浮动）

涌入是专为时间序列数据，因此它可能有一些内置优化。我是否需要自己进行优化以使Postgres高效？更具体地说，我有这些问题：

1. Influx拥有'系列'这个概念，创建新系列很便宜。所以我对每个传感器都有一个单独的系列。我应该为每个传感器创建一个单独的Postgres表格吗？

2. 我应该如何设置索引来快速查询？一个典型的查询是：在过去的3天中选择sensor123的所有数据。

3. 我应该在时间列中使用时间戳还是整数？

4. 如何设置保留策略？例如。删除超过一周的数据。

5. Will Postgres会水平放大吗？我可以设置ec2群集进行数据复制和负载平衡吗？

6. 可以在Postgres中下载样本吗？我读过一些我可以使用date_trunc的文章。但似乎我无法将它date_trunc到特定的时间间隔，例如25秒。

7. 我错过了其他的注意事项吗？

在此先感谢！

更新 将时间列存储为大整数比将其存储为时间戳更快。难道我做错了什么？

把它作为时间戳：

postgres=# explain analyze select * from test where sensorid='sensor_0'; 

Bitmap Heap Scan on test (cost=3180.54..42349.98 rows=75352 width=25) (actual time=10.864..19.604 rows=51840 loops=1) 
    Recheck Cond: ((sensorid)::text = 'sensor_0'::text) 
    Heap Blocks: exact=382 
    -> Bitmap Index Scan on sensorindex (cost=0.00..3161.70 rows=75352 width=0) (actual time=10.794..10.794 rows=51840 loops=1) 
     Index Cond: ((sensorid)::text = 'sensor_0'::text) 
Planning time: 0.118 ms 
Execution time: 22.984 ms 

postgres=# explain analyze select * from test where sensorid='sensor_0' and addedtime > to_timestamp(1430939804); 

Bitmap Heap Scan on test (cost=2258.04..43170.41 rows=50486 width=25) (actual time=22.375..27.412 rows=34833 loops=1) 
    Recheck Cond: (((sensorid)::text = 'sensor_0'::text) AND (addedtime > '2015-05-06 15:16:44-04'::timestamp with time zone)) 
    Heap Blocks: exact=257 
    -> Bitmap Index Scan on sensorindex (cost=0.00..2245.42 rows=50486 width=0) (actual time=22.313..22.313 rows=34833 loops=1) 
     Index Cond: (((sensorid)::text = 'sensor_0'::text) AND (addedtime > '2015-05-06 15:16:44-04'::timestamp with time zone)) 
Planning time: 0.362 ms 
Execution time: 29.290 ms 

把它作为大整数：

postgres=# explain analyze select * from test where sensorid='sensor_0'; 


Bitmap Heap Scan on test (cost=3620.92..42810.47 rows=85724 width=25) (actual time=12.450..19.615 rows=51840 loops=1) 
    Recheck Cond: ((sensorid)::text = 'sensor_0'::text) 
    Heap Blocks: exact=382 
    -> Bitmap Index Scan on sensorindex (cost=0.00..3599.49 rows=85724 width=0) (actual time=12.359..12.359 rows=51840 loops=1) 
     Index Cond: ((sensorid)::text = 'sensor_0'::text) 
Planning time: 0.130 ms 
Execution time: 22.331 ms 

postgres=# explain analyze select * from test where sensorid='sensor_0' and addedtime > 1430939804472; 


Bitmap Heap Scan on test (cost=2346.57..43260.12 rows=52489 width=25) (actual time=10.113..14.780 rows=31839 loops=1) 
    Recheck Cond: (((sensorid)::text = 'sensor_0'::text) AND (addedtime > 1430939804472::bigint)) 
    Heap Blocks: exact=235 
    -> Bitmap Index Scan on sensorindex (cost=0.00..2333.45 rows=52489 width=0) (actual time=10.059..10.059 rows=31839 loops=1) 
     Index Cond: (((sensorid)::text = 'sensor_0'::text) AND (addedtime > 1430939804472::bigint)) 
Planning time: 0.154 ms 
Execution time: 16.589 ms 

Answer 1

你不应该为每个传感器创建一个表。相反，您可以在表中添加一个字段来标识它所在的系列。您还可以使用另一个表来描述有关该系列的其他属性。如果数据点可能属于多个系列，那么您需要完全不同的结构。

对于在Q2中描述的查询，您recorded_at列的索引应该工作（时间是SQL保留关键字，所以最好避免，作为一个名字）

你应该使用TIMESTAMP WITH TIME ZONE为您的时间数据类型。

保留取决于您。

Postgres有多种分片/复制选项。这是一个很大的话题。

不知道我理解你的目标＃6，但我相信你可以找出一些东西。