将json列表简化为独特的字典项目

Question

python的新手（可以使用php以及）..搜索各种网站/ SO ..并仍然有一个心理障碍。

得到了JSON，并试图找出如何拍摄包含类型的字典列表，并创建一个具有一套独特的类型的字典结果列表..

作为
的一个实例，下面是测试列表：

[{"pStart1a": {"termVal":"1122","termMenu":"CLASS_SRCH_WRK2_STRM","instVal":"OSUSI", 
"instMenu":"CLASS_SRCH_WRK2_INSTITUTION","goBtn":"CLASS_SRCH_WRK2_SSR_PB_SRCH", 
"pagechk":"CLASS_SRCH_WRK2_SSR_PB_SRCH","nPage":"CLASS_SRCH_WRK2_SSR_PB_CLASS_SRCH"}, 
"pSearch1a": 
{"chk":"CLASS_SRCH_WRK2_MON","srchbtn":"DERIVED_CLSRCH_SSR_EXPAND_COLLAPS"}}, 
{"pStart1":""}, 
{"pStart1a":{"termVal":"1122","termMenu":"CLASS_SRCH_WRK2_STRM","instVal":"OSUSI", 
"instMenu":"CLASS_SRCH_WRK2_INSTITUTION","goBtn":"CLASS_SRCH_WRK2_SSR_PB_SRCH", 
"pagechk":"CLASS_SRCH_WRK2_SSR_PB_SRCH","nPage":"CLASS_SRCH_WRK2_SSR_PB_CLASS_SRCH"}, 
"pSearch1a": 
{"chk":"CLASS_SRCH_WRK2_MON","srchbtn":"DERIVED_CLSRCH_SSR_EXPAND_COLLAPS"}}, 
{"pStart1":""}] 

试图获得以下，唯一的字典列表，所以没有重复的字典。

[ 
    {"pStart1a": 
    {"termVal":"1122","termMenu":"CLASS_SRCH_WRK2_STRM","instVal":"OSUSI", 
    "instMenu":"CLASS_SRCH_WRK2_INSTITUTION","goBtn":"CLASS_SRCH_WRK2_SSR_PB_SRCH", 
    pagechk":"CLASS_SRCH_WRK2_SSR_PB_SRCH","nPage":"CLASS_SRCH_WRK2_SSR_PB_CLASS_SRCH"}, 
    "pSearch1a": 
    {"chk":"CLASS_SRCH_WRK2_MON","srchbtn":"DERIVED_CLSRCH_SSR_EXPAND_COLLAPS"}}, 
    {"pStart1":""}] 

我正在考虑通过初始列表进行迭代，每一个复制词典到一个新的列表，并做了基本的比较，将在未来字典，如果它不在新的清单..有另一个/更好的办法？

感谢

Answer 1

如果我理解你的问题的权利，你可以试试这个：

import json 
from pprint import pprint 

json_string = """[{"pStart1a": {"termVal":"1122","termMenu":"CLASS_SRCH_WRK2_STRM","instVal":"OSUSI", 
"instMenu":"CLASS_SRCH_WRK2_INSTITUTION","goBtn":"CLASS_SRCH_WRK2_SSR_PB_SRCH", 
"pagechk":"CLASS_SRCH_WRK2_SSR_PB_SRCH","nPage":"CLASS_SRCH_WRK2_SSR_PB_CLASS_SRCH"}, 
"pSearch1a": 
{"chk":"CLASS_SRCH_WRK2_MON","srchbtn":"DERIVED_CLSRCH_SSR_EXPAND_COLLAPS"}}, 
{"pStart1":""}, 
{"pStart1a":{"termVal":"1122","termMenu":"CLASS_SRCH_WRK2_STRM","instVal":"OSUSI", 
"instMenu":"CLASS_SRCH_WRK2_INSTITUTION","goBtn":"CLASS_SRCH_WRK2_SSR_PB_SRCH", 
"pagechk":"CLASS_SRCH_WRK2_SSR_PB_SRCH","nPage":"CLASS_SRCH_WRK2_SSR_PB_CLASS_SRCH"}, 
"pSearch1a": 
{"chk":"CLASS_SRCH_WRK2_MON","srchbtn":"DERIVED_CLSRCH_SSR_EXPAND_COLLAPS"}}, 
{"pStart1":""}] 
""" 

result = {} 
for dct in json.loads(json_string): 
    for key, value in dct.iteritems(): 
     result[key] = value 

pprint(result) 

输出：

{u'pSearch1a': {u'chk': u'CLASS_SRCH_WRK2_MON', 
       u'srchbtn': u'DERIVED_CLSRCH_SSR_EXPAND_COLLAPS'}, 
u'pStart1': '', 
u'pStart1a': {u'goBtn': u'CLASS_SRCH_WRK2_SSR_PB_SRCH', 
       u'instMenu': u'CLASS_SRCH_WRK2_INSTITUTION', 
       u'instVal': u'OSUSI', 
       u'nPage': u'CLASS_SRCH_WRK2_SSR_PB_CLASS_SRCH', 
       u'pagechk': u'CLASS_SRCH_WRK2_SSR_PB_SRCH', 
       u'termMenu': u'CLASS_SRCH_WRK2_STRM', 
       u'termVal': u'1122'}} 

编辑

注意，将其转换列表字典，字典。也许它会更容易做进一步的操作。

也有可能，转换result列出：

list_result = [{key:value} for key, value in result.iteritems()] 

注2：

比较是基于字典的键，和它提取嵌套值根级别。不知道OP是否可访问。可能你不应该使用此解决方案。无论如何，它比使用repr()比较字典的速度快8倍（在这个数据上）。

Answer 2

如果oldlist包含在Python类型的字典列表（例如，作为json.loads的结果（jsonstring）），那么新的列表，可以通过一些构造是这样的：

encountered = set() 
newlist = [] 
for i in oldlist: 
    repr_i = repr(i) 
    if repr_i in encountered: 
     continue 
    encountered.add(repr_i) 
    newlist.append(i) 

print newlist 

其他一些功能可以用来代替repr，例如repr的哈希摘要。

Answer 3

最简单的方法 - 使用list(set(your_list_of_dicts))将不起作用，因为Python字典是可变的且不可哈希的（也就是说，它们不实现__hash__）。这是因为Python不能保证字典的散列在将其插入set或dict后不会更改。

但是，就你而言，由于你（似乎不是）修改数据，你可以计算自己的散列，并将其与字典一起使用，以便相对容易地找到唯一的JSON对象，而无需将每个字典与其他字典进行完整的递归比较。

首先，我们需要一个函数来计算字典的散列。而不是试图建立自己的散列函数，让我们使用内置者之一从hashlib：

def dict_hash(d): 
    out = hashlib.md5() 
    for key, value in d.iteritems(): 
     out.update(unicode(key)) 
     out.update(unicode(value)) 
    return out.hexdigest() 

（请注意，这依赖于unicode(...)为每个值返回一些独特的 - 如果有自定义在字典中的类__unicode__返回类似“MyClass实例”的字典，这将失败或将需要修改。另外，在你的例子中，你的字典是平的，但我将它作为练习给读者如何扩展这个解决方案与包含其他字典或列表的字典一起工作。）

由于dict_hash返回一个字符串，它是不变的能够，你现在可以使用字典来找到独特的元素：

uniques_map = {} 
for d in list_of_dicts: 
    uniques[dict_hash(d)] = d 
unique_dicts = uniques_map.values()