0

我给出了很多关于我用来编写代码的方法的信息。如果您只想阅读我的问题,请跳至最后的引号。为什么我的关联模型在数据集中找不到子组?

我正在研究一个项目,其目标是检测一组患者中的亚群。我认为这听起来像是使用关联规则挖掘的绝好机会,因为我目前正在就这个问题开展一门课。

我总共有42个变量。其中20个是连续的,必须离散化。对于每个变量,我使用Freedman-Diaconis规则来确定将组分成多少个类别。

def Freedman_Diaconis(column_values): 

    #sort the list first 
    column_values[1].sort() 

    first_quartile = int(len(column_values[1]) * .25) 
    third_quartile = int(len(column_values[1]) * .75) 

    fq_value = column_values[1][first_quartile] 
    tq_value = column_values[1][third_quartile] 
    iqr = tq_value - fq_value 
    n_to_pow = len(column_values[1])**(-1/3) 
    h = 2 * iqr * n_to_pow 
    retval = (column_values[1][-1] - column_values[1][1])/h 
    test = int(retval+1) 
    return test 

从那里我用最小 - 最大规范化

def min_max_transform(column_of_data, num_bins): 
min_max_normalizer = preprocessing.MinMaxScaler(feature_range=(1, num_bins)) 
data_min_max = min_max_normalizer.fit_transform(column_of_data[1]) 
data_min_max_ints = take_int(data_min_max) 
return data_min_max_ints 

改造我的数据,然后我干脆拿着整数部分得到最终的分类。

def take_int(list_of_float): 
ints = [] 

for flt in list_of_float: 
    asint = int(flt) 
    ints.append(asint) 

return ints 

然后我写了一个函数,我用这个函数把这个值和变量名结合起来。

def string_transform(prefix, column, index): 

transformed_list = [] 
transformed = "" 
if index < 4: 
    for entry in column[1]: 
     transformed = prefix+str(entry) 
     transformed_list.append(transformed) 
else: 
    prefix_num = prefix.split('x') 
    for entry in column[1]: 
     transformed = str(prefix_num[1])+'x'+str(entry) 
     transformed_list.append(transformed) 

return transformed_list 

这样做是为了区分具有相同值但出现在不同列中的变量。例如,变量x14的值为1意味着与变量x20中的值1不同。字符串转换函数将为前面提到的示例创建14x1和20x1。

在此之后,我在篮下格式

def create_basket(list_of_lists, headers): 

#for filename in os.listdir("."): 
# if filename.e 

if not os.path.exists('baskets'): 
    os.makedirs('baskets') 

down_length = len(list_of_lists[0]) 

with open('baskets/dataset.basket', 'w') as basketfile: 
    basket_writer = csv.DictWriter(basketfile, fieldnames=headers) 

    for i in range(0, down_length): 

     basket_writer.writerow({"trt": list_of_lists[0][i], "y": list_of_lists[1][i], "x1": list_of_lists[2][i], 
           "x2": list_of_lists[3][i], "x3": list_of_lists[4][i], "x4": list_of_lists[5][i], 
           "x5": list_of_lists[6][i], "x6": list_of_lists[7][i], "x7": list_of_lists[8][i], 
           "x8": list_of_lists[9][i], "x9": list_of_lists[10][i], "x10": list_of_lists[11][i], 
           "x11": list_of_lists[12][i], "x12":list_of_lists[13][i], "x13": list_of_lists[14][i], 
           "x14": list_of_lists[15][i], "x15": list_of_lists[16][i], "x16": list_of_lists[17][i], 
           "x17": list_of_lists[18][i], "x18": list_of_lists[19][i], "x19": list_of_lists[20][i], 
           "x20": list_of_lists[21][i], "x21": list_of_lists[22][i], "x22": list_of_lists[23][i], 
           "x23": list_of_lists[24][i], "x24": list_of_lists[25][i], "x25": list_of_lists[26][i], 
           "x26": list_of_lists[27][i], "x27": list_of_lists[28][i], "x28": list_of_lists[29][i], 
           "x29": list_of_lists[30][i], "x30": list_of_lists[31][i], "x31": list_of_lists[32][i], 
           "x32": list_of_lists[33][i], "x33": list_of_lists[34][i], "x34": list_of_lists[35][i], 
           "x35": list_of_lists[36][i], "x36": list_of_lists[37][i], "x37": list_of_lists[38][i], 
           "x38": list_of_lists[39][i], "x39": list_of_lists[40][i], "x40": list_of_lists[41][i]}) 

写的一切文件,我用先验包Orange,看看是否有任何关联规则。

rules = Orange.associate.AssociationRulesSparseInducer(patient_basket, support=0.3, confidence=0.3) 
print "%4s %4s %s" % ("Supp", "Conf", "Rule") 
for r in rules: 

    my_rule = str(r) 
    split_rule = my_rule.split("->") 

    if 'trt' in split_rule[1]: 
     print 'treatment rule' 
     print "%4.1f %4.1f %s" % (r.support, r.confidence, r) 

使用此技术,我发现了很多关联规则与我的测试数据。

这是我有一个问题

当我阅读笔记的训练数据,有本说明

...也就是说,只有 原因观察到的所有患者对相同治疗的反应之间的差异是随机噪声。因此,对于该数据集没有有意义的分组...

我的问题是,

根据笔记的时候,为什么我拿到这将意味着有多个亚组关联规则,我什么都看不到?

我得到的升力数字高于2,而不是1,如果所有东西都像笔记状态一样是随机的,那么应该是1。

Supp Conf Rule 
0.3 0.7 6x0 -> trt1 

即使我的代码运行,我没有得到任何接近应该预期的结果。这让我相信我搞砸了一些东西,但我不确定它是什么。

回答

0

经过一番研究,我意识到我的样本量对于我所拥有的变量数量来说太小了。为了真正使用我使用的方法,我需要更大的样本量。实际上,我尝试使用的方法是假设它将在数十万或数百万行的数据库上运行。