2014-11-04 65 views
1

我有一个字典是这样的:如何用这些函数创建字典的词典?

dict = {in : [0.01, -0.07, 0.09, -0.02], and : [0.2, 0.3, 0.5, 0.6], to : [0.87, 0.98, 0.54, 0.4]} 

欲计算,我有一个余弦相似度函数,它接受两个向量每个单词之间的余弦相似性。首先,它将为'in'和'and'带来价值,然后它应该为'in'和'to'等等带来价值。

我希望它将结果存储在另一个字典中,其中'in'应该是关键字,值应该是每个计算的余弦相似度值与该关键字的字典。就像我所要的输出是这样的:

{in : {and : 0.4321, to : 0.218}, and : {in : 0.1245, to : 0.9876}, to : { in : 0.8764, and : 0.123}} 

下面是这是做这一切的代码:

def cosine_similarity(vec1,vec2): 
    sum11, sum12, sum22 = 0, 0, 0 
    for i in range(len(vec1)): 
     x = vec1[i]; y = vec2[i] 
     sum11 += x*x 
     sum22 += y*y 
     sum12 += x*y 
    return sum12/math.sqrt(sum11*sum22) 

def resultInDict(result,name,value,keyC): 
    new_dict={} 
    new_dict[keyC]=value  
    if name in result: 
     result[name] = new_dict 
    else: 
     result[name] = new_dict 

def extract(): 
    result={} 
    res={} 
    with open('file.txt') as text: 
     for line in text: 
      record = line.split() 
      key = record[0] 
      values = [float(value) for value in record[1:]] 
      res[key] = values 
    for key,value in res.iteritems(): 
      temp = 0 
      for keyC,valueC in res.iteritems(): 

       if keyC == key: 
        continue 
       temp = cosine_similarity(value,valueC) 
       resultInDict(result,key,temp,keyC) 
    print result 

但是,它给的结果是这样的:

{'and': {'in': 0.12241083209661485}, 'to': {'in': -0.0654517869126785}, 'from': {'in': -0.5324142931780856}, 'in': {'from': -0.5324142931780856}} 

我希望它是这样的:

{in : {and : 0.4321, to : 0.218}, and : {in : 0.1245, to : 0.9876}, to : { in : 0.8764, and : 0.123}} 

我觉得这是因为在resultInDict函数中,我定义了一个新字典new_dict来为内部字典添加键值,但每次调用resultInDict函数时,都会清空该行上的new_dict new_dict={},并且只添加一个键值对。

我该如何解决这个问题?

回答

1

不是很优雅,但它的工作:

import math 

def cosine_similarity(vec1,vec2): 
    sum11, sum12, sum22 = 0, 0, 0 
    for i in range(len(vec1)): 
     x = vec1[i]; y = vec2[i] 
     sum11 += x*x 
     sum22 += y*y 
     sum12 += x*y 
    return sum12/math.sqrt(sum11*sum22) 

mydict = {"in" : [0.01, -0.07, 0.09, -0.02], "and" : [0.2, 0.3, 0.5, 0.6], "to" : [0.87, 0.98, 0.54, 0.4]} 
mydict_keys = mydict.keys() 

result = {} 
for k1 in mydict_keys: 
    temp_dict = {} 
    for k2 in mydict_keys: 
     if k1 != k2: 
     temp_dict[k2] = cosine_similarity(mydict[k1], mydict[k2]) 
    result[k1] = temp_dict 

另外,如果你有大的数据结构,考虑使用scipyhttp://docs.scipy.org/doc/scipy-0.14.0/reference/generated/scipy.spatial.distance.cosine.html)或scikit-learnhttp://scikit-learn.org/stable/modules/generated/sklearn.metrics.pairwise.pairwise_distances.html),用于在更计算余弦相似高效的方式(后者不仅速度快,而且记忆友好,因为你可以喂它一个scipy.sparse矩阵)。