我给出了很多关于我用来编写代码的方法的信息。如果您只想阅读我的问题,请跳至最后的引号。为什么我的关联模型在数据集中找不到子组?
我正在研究一个项目,其目标是检测一组患者中的亚群。我认为这听起来像是使用关联规则挖掘的绝好机会,因为我目前正在就这个问题开展一门课。
我总共有42个变量。其中20个是连续的,必须离散化。对于每个变量,我使用Freedman-Diaconis规则来确定将组分成多少个类别。
def Freedman_Diaconis(column_values):
#sort the list first
column_values[1].sort()
first_quartile = int(len(column_values[1]) * .25)
third_quartile = int(len(column_values[1]) * .75)
fq_value = column_values[1][first_quartile]
tq_value = column_values[1][third_quartile]
iqr = tq_value - fq_value
n_to_pow = len(column_values[1])**(-1/3)
h = 2 * iqr * n_to_pow
retval = (column_values[1][-1] - column_values[1][1])/h
test = int(retval+1)
return test
从那里我用最小 - 最大规范化
def min_max_transform(column_of_data, num_bins):
min_max_normalizer = preprocessing.MinMaxScaler(feature_range=(1, num_bins))
data_min_max = min_max_normalizer.fit_transform(column_of_data[1])
data_min_max_ints = take_int(data_min_max)
return data_min_max_ints
改造我的数据,然后我干脆拿着整数部分得到最终的分类。
def take_int(list_of_float):
ints = []
for flt in list_of_float:
asint = int(flt)
ints.append(asint)
return ints
然后我写了一个函数,我用这个函数把这个值和变量名结合起来。
def string_transform(prefix, column, index):
transformed_list = []
transformed = ""
if index < 4:
for entry in column[1]:
transformed = prefix+str(entry)
transformed_list.append(transformed)
else:
prefix_num = prefix.split('x')
for entry in column[1]:
transformed = str(prefix_num[1])+'x'+str(entry)
transformed_list.append(transformed)
return transformed_list
这样做是为了区分具有相同值但出现在不同列中的变量。例如,变量x14的值为1意味着与变量x20中的值1不同。字符串转换函数将为前面提到的示例创建14x1和20x1。
在此之后,我在篮下格式
def create_basket(list_of_lists, headers):
#for filename in os.listdir("."):
# if filename.e
if not os.path.exists('baskets'):
os.makedirs('baskets')
down_length = len(list_of_lists[0])
with open('baskets/dataset.basket', 'w') as basketfile:
basket_writer = csv.DictWriter(basketfile, fieldnames=headers)
for i in range(0, down_length):
basket_writer.writerow({"trt": list_of_lists[0][i], "y": list_of_lists[1][i], "x1": list_of_lists[2][i],
"x2": list_of_lists[3][i], "x3": list_of_lists[4][i], "x4": list_of_lists[5][i],
"x5": list_of_lists[6][i], "x6": list_of_lists[7][i], "x7": list_of_lists[8][i],
"x8": list_of_lists[9][i], "x9": list_of_lists[10][i], "x10": list_of_lists[11][i],
"x11": list_of_lists[12][i], "x12":list_of_lists[13][i], "x13": list_of_lists[14][i],
"x14": list_of_lists[15][i], "x15": list_of_lists[16][i], "x16": list_of_lists[17][i],
"x17": list_of_lists[18][i], "x18": list_of_lists[19][i], "x19": list_of_lists[20][i],
"x20": list_of_lists[21][i], "x21": list_of_lists[22][i], "x22": list_of_lists[23][i],
"x23": list_of_lists[24][i], "x24": list_of_lists[25][i], "x25": list_of_lists[26][i],
"x26": list_of_lists[27][i], "x27": list_of_lists[28][i], "x28": list_of_lists[29][i],
"x29": list_of_lists[30][i], "x30": list_of_lists[31][i], "x31": list_of_lists[32][i],
"x32": list_of_lists[33][i], "x33": list_of_lists[34][i], "x34": list_of_lists[35][i],
"x35": list_of_lists[36][i], "x36": list_of_lists[37][i], "x37": list_of_lists[38][i],
"x38": list_of_lists[39][i], "x39": list_of_lists[40][i], "x40": list_of_lists[41][i]})
写的一切文件,我用先验包Orange,看看是否有任何关联规则。
rules = Orange.associate.AssociationRulesSparseInducer(patient_basket, support=0.3, confidence=0.3)
print "%4s %4s %s" % ("Supp", "Conf", "Rule")
for r in rules:
my_rule = str(r)
split_rule = my_rule.split("->")
if 'trt' in split_rule[1]:
print 'treatment rule'
print "%4.1f %4.1f %s" % (r.support, r.confidence, r)
使用此技术,我发现了很多关联规则与我的测试数据。
这是我有一个问题
当我阅读笔记的训练数据,有本说明
...也就是说,只有 原因观察到的所有患者对相同治疗的反应之间的差异是随机噪声。因此,对于该数据集没有有意义的分组...
我的问题是,
根据笔记的时候,为什么我拿到这将意味着有多个亚组关联规则,我什么都看不到?
我得到的升力数字高于2,而不是1,如果所有东西都像笔记状态一样是随机的,那么应该是1。
Supp Conf Rule
0.3 0.7 6x0 -> trt1
即使我的代码运行,我没有得到任何接近应该预期的结果。这让我相信我搞砸了一些东西,但我不确定它是什么。