关于在Redis中存储此数据（JSON）而不覆盖现有的建议？

Question

我是新来的，我将要问的所有方面。

我试图确定是否可以成功存储一些在Redis中作为JSON数据的轮询度量标准。

以一种方式，我已经设法做到了。以下python脚本将轮询设备，拉回JSON数据，然后使用（rejson - https://redislabs.com/blog/redis-as-a-json-store/）我可以将该json数据推送到Redis。

下面是代码：

# !/usr/bin/env python 
from __future__ import print_function 
from functools import wraps 
from pprint import pprint 
import time 
import sys 
import acos_client as acos 
import redis 
import json 

c = acos.Client('10.10.10.10', acos.AXAPI_21, 'username', 'password') 

data = c.slb.service_group.stats('SG_SITE1.BUSINESS.COM_443') 

# Open a connection to redis 
r = redis.StrictRedis() 

# Store the document 
r.execute_command('JSON.SET', 'data', '.', json.dumps(data)) 

# Retrieve it 
reply = json.loads(r.execute_command('JSON.GET', 'data')) 

这是拉，然后存储在Redis的数据：

{u'service_group_stat': {u'cur_conns': 344, 
         'date': '04-25-2017', 
         u'member_stat_list': [{u'cur_conns': 66, 
               u'req_bytes': 1476212423, 
               u'req_pkts': 10449342, 
               u'resp_bytes': 33132743858, 
               u'resp_pkts': 25652317, 
               u'server': u'WWW0006', 
               u'tot_conns': 172226}, 
               {u'cur_conns': 64, 
               u'req_bytes': 1666275823, 
               u'req_pkts': 11982676, 
               u'resp_bytes': 37575461036, 
               u'resp_pkts': 29175599, 
               u'server': u'WWW0005', 
               u'tot_conns': 205244}, 
               {u'cur_conns': 89, 
               u'req_bytes': 1671222671, 
               u'req_pkts': 11940864, 
               u'resp_bytes': 37064038202, 
               u'resp_pkts': 28747313, 
               u'server': u'WWW0004', 
               u'tot_conns': 195789}, 
               {u'cur_conns': 37, 
               u'req_bytes': 94117510958, 
               u'req_pkts': 585916896, 
               u'resp_bytes': 1860691638618, 
               u'resp_pkts': 1439228725, 
               u'server': u'WWW0003', 
               u'tot_conns': 7366402}, 
               {u'cur_conns': 42, 
               u'req_bytes': 98580368121, 
               u'req_pkts': 642797814, 
               u'resp_bytes': 1934241923560, 
               u'resp_pkts': 1498242871, 
               u'server': u'WWW0002', 
               u'tot_conns': 7221995}, 
               {u'cur_conns': 46, 
               u'req_bytes': 94886760323, 
               u'req_pkts': 593577169, 
               u'resp_bytes': 1863028601218, 
               u'resp_pkts': 1441197389, 
               u'server': u'WWW0001', 
               u'tot_conns': 7260787}], 
         u'name': u'SG_SITE1.BUSINESS.COM_443', 
         u'req_bytes': 292398350319, 
         u'req_pkts': 1856664761, 
         u'resp_bytes': 5765734406492, 
         u'resp_pkts': 4462244214, 
         'time': '11:00:00', 
         u'tot_conns': 22422443}} 

当我在Redis的检查“数据”我看到的数据/的JSON被推：

127.0.0.1:6379> json.get data 
"{\"service_group_stat\":{\"status\":3,\"protocol\":2,\"name\":\"SG_SITE1.BUSINESS.COM_443\",\"cur_reqs\":0,\"resp_pkts\":4472667457,\"cur_conns\":306,\"total_reqs\":0,\"total_reqs_succ\":0,\"req_pkts\":1860880754,\"req_bytes\":293088668161,\"member_stat_list\":[{\"status\":1,\"resp_bytes\":35542787582,\"cur_reqs\":0,\"resp_pkts\":27513984,\"cur_conns\":72,\"total_reqs\":0,\"server\":\"WWW0006\",\"req_pkts\":11202756,\"req_bytes\":1601613790,\"total_reqs_succ\":0,\"tot_conns\":181675,\"port\":81},{\"status\":1,\"resp_bytes\":39991941399,\"cur_reqs\":0,\"resp_pkts\":31033672,\"cur_conns\":45,\"total_reqs\":0,\"server\":\"WWW0005\",\"req_pkts\":12730038,\"req_bytes\":1788901352,\"total_reqs_succ\":0,\"tot_conns\":214379,\"port\":81},{\"status\":1,\"resp_bytes\":38939383008,\"cur_reqs\":0,\"resp_pkts\":30207188,\"cur_conns\":41,\"total_reqs\":0,\"server\":\"WWW0004\",\"req_pkts\":12545969,\"req_bytes\":1770117987,\"total_reqs_succ\":0,\"tot_conns\":203326,\"port\":81},{\"status\":1,\"resp_bytes\":1863483461334,\"cur_reqs\":0,\"resp_pkts\":1441396536,\"cur_conns\":34,\"total_reqs\":0,\"server\":\"WWW0003\",\"req_pkts\":586827719,\"req_bytes\":94258771440,\"total_reqs_succ\":0,\"tot_conns\":7378462,\"port\":81},{\"status\":1,\"resp_bytes\":1935723181356,\"cur_reqs\":0,\"resp_pkts\":1499389206,\"cur_conns\":48,\"total_reqs\":0,\"server\":\"WWW0002\",\"req_pkts\":643286283,\"req_bytes\":98658443365,\"total_reqs_succ\":0,\"tot_conns\":7228301,\"port\":81},{\"status\":1,\"resp_bytes\":1865535919223,\"cur_reqs\":0,\"resp_pkts\":1443126871,\"cur_conns\":66,\"total_reqs\":0,\"server\":\"WWW0001\",\"req_pkts\":594287989,\"req_bytes\":95010820227,\"total_reqs_succ\":0,\"tot_conns\":7271565,\"port\":81},{\"status\":0,\"resp_bytes\":0,\"cur_reqs\":0,\"resp_pkts\":0,\"cur_conns\":0,\"total_reqs\":0,\"server\":\"WWW03\",\"req_pkts\":0,\"req_bytes\":0,\"total_reqs_succ\":0,\"tot_conns\":0,\"port\":81},{\"status\":0,\"resp_bytes\":0,\"cur_reqs\":0,\"resp_pkts\":0,\"cur_conns\":0,\"total_reqs\":0,\"server\":\"WWW01\",\"req_pkts\":0,\"req_bytes\":0,\"total_reqs_succ\":0,\"tot_conns\":0,\"port\":81},{\"status\":0,\"resp_bytes\":0,\"cur_reqs\":0,\"resp_pkts\":0,\"cur_conns\":0,\"total_reqs\":0,\"server\":\"WWW02\",\"req_pkts\":0,\"req_bytes\":0,\"total_reqs_succ\":0,\"tot_conns\":0,\"port\":81}],\"time\":\"13:20:57\",\"date\":\"04-25-2017\",\"resp_bytes\":5779216673902,\"tot_conns\":22477708}}" 

到目前为止好它会出现？

问题是我不确定如何正确处理推送下一组数据而不覆盖现有的“数据”？

我意识到，这是保存它Redis的“数据”：

r.execute_command('JSON.SET', 'data', '.', json.dumps(data)) 

的目标是拥有多套这个数据，因为它包括日期和时间。

我希望使用它来存储每个“service_groups”每个服务组和每个服务器随附的服务器每隔5分钟一小时的这些指标。

所以我对学习和理解如何去完成这件事感兴趣？

**其他详细信息/回应问题**

的最终目标是能够在给定的使用某种绘图/报告工具，可以访问数据并显示指标“service_group”时间段以及扩展“service_group”并查看与“service_group”内的每个成员/服务器关联的度量的能力。

Answer 1

Redis中的每个键（data）都是数据结构，在您的情况下，数据结构是JSON文档。至少有两种方法可以“保存多个集合”：1）使用多个键和/或2）在键内使用JSON嵌套。

Redis可以容纳很多密钥（准确地说是2^32-1）。您可以将每个JSON文档存储在不同的密钥下。键名应该是唯一的，所以这个名字的组合和时间戳可以做到这一点，即：

... 
name = 'SG_SITE1.BUSINESS.COM_443' 
data = c.slb.service_group.stats(name) 
... 
keyname = '{}:{}'.format(name, data['service_group_stat']['date']) 
r.execute_command('JSON.SET', keyname, '.', json.dumps(data)) 
... 

使用其他的方式，即用一个键（如data或SG_SITE1.BUSINESS.COM_443），但在它嵌套多个文档，例如，如果你将文档看作一个对象，其中每个关键字都是可能的日期，也就是说：

{'04-25-2017': 
    {u'service_group_stat': {u'cur_conns': 344, 
         'date': '04-25-2017', 
... 
    }, 
'04-24-2017': 
    {u'service_group_stat': {u'cur_conns': 344, 
         'date': '04-24-2017', 
... 

因此，基本上，它会是这样的：

... 
name = 'SG_SITE1.BUSINESS.COM_443' 
data = c.slb.service_group.stats(name) 
... 
path = '.["{}"]'.format(data['service_group_stat']['date']) 
r.execute_command('JSON.SET', name, path, json.dumps(data)) 
... 

当然，真正的问题是你想要的数据，一旦它在地方做什么;）

PS我对通过电子邮件延误表示歉意 - 这是一个更好的媒介来讨论这个话题，因为它可能有益于后代：P