我正在尝试使用HashingVectorizer
来训练带有文本数据的SGDClassifier
。我想知道如何组装从多个文件读取到的partial_fit()
批次。如何获得scikit-learn的迭代partial_fit
以下代码是通过迭代获取批量数据的适当方式吗?有没有最佳做法或推荐的方式来做到这一点?
class MyIterable:
def __init__(self, files, batch_size):
self.files = files
self.batch_size = batch_size
def __iter__(self):
batchstartmark = 0
for line in fileinput.input(self.files):
while batchstartmark < self.batch_size
yield line.split('\t')
batchstartmark += 1
在此先感谢!
请详细解释一下你想做什么? –