更新:我设法解决这个问题,借助Jeremy的函数将我的数据集分为50个块。我已经发布了最终答案。Python:将一个数组划分为
我有下面的代码,我想将数组分成块的原因是,我试图使用一次只允许50个请求的api。另外我是java开发人员正在尝试转移到python。我想要做的是将数组分成50个块并将它们提供给api。
我有一个文本文件,它有很长的ID列表,我基于我读取的ID构建URL。
import simplejson as json
import sys
import urllib
import traceback, csv, string
# "base" API URL
URL_BASE = 'Some URL'
# set user agent string
urllib.version = "Data Collection Fix it"
page_ids = []
def divide_list(list_, n):
for i in range(0, len(list_), n):
yield list_[i:i + n]
def issue_query():
iFile = open('ReadFromThisFile.txt', "r")
lines = iFile.readlines()
#print len(lines)
for line in lines:
ids = string.split(line)
ids = ids[0]
page_ids.append(ids)
url = URL_BASE
indicies = range(len(page_ids))
File = open("WriteToThisFile.csv", "w")
for indicies in divide_list(page_ids, 50):
count = 0
fiftyIds =[]
url = URL_BASE
for id in indicies:
str(id).strip
url += str(id) + '|'
print url
fiftyIds.append(str(id))
count += 1
print count
rv = urllib.urlopen(url)
j = rv.read().decode("utf-8")
#sys.stderr.write(j + "\n")
data = json.loads(j)
for id in fiftyIds:
try:
s = int(data["query"]["pages"][id]["revisions"][0]["size"])
sys.stderr.write("%d\t%d\n" % (int(id), s))
File.write("%d\t%d\n" % (int(id), s))
#print ("%d\t%d\n" % (int(id), s))
# do something interesting with id and s
except Exception, e:
traceback.print_exc()
File.close()
iFile.close()
issue_query()
我知道很多经验Python开发人员可能给我负面的点问这样一个简单的问题,但我找不到对谷歌或有什么好例子。如果我重复了一个问题,那么很抱歉有什么麻烦。
感谢,
为什么Perl开发人员关心你的Python的能力解决它? ;-) – Cameron 2011-03-22 04:38:28
可能的重复[你如何在Python中将列表分割成大小均匀的块?](http://stackoverflow.com/questions/312443/how-do-you-split-a-list-into-evenly -sized-chunks-in-python) – kennytm 2011-03-22 04:41:30
在Python中,一个列表是一个列表,而一个数组是这样的:(http://docs.python.org/library/array.html#module-array) – eyquem 2011-03-22 14:19:08