嵌套链接的Python机械化

Question

我目前正在爬取一个网站，有很多级别的链接，它似乎像mechanize不能处理嵌套的链接。例如，让我们说我有：

br = mechanize.Browser() 
response = br.open('some_site'); 

for link in br.links(): 
    br.follow_link(link) 
    for link in br.links(): 
    br.follow_link(link) 

机械化，一旦出了内循环，它只是停在那里，而无需通过从外循环的链接循环。

我试过br.back（），但它也没有工作。有没有解决方法，或者我做错了什么？谢谢。

Answer 1

存放在列表中的链接，你开始循环之前：

br = mechanize.Browser() 
response = br.open('some_site'); 

current_links = list(br.links()) 

for link in current_links: 
    br.follow_link(link) 
    sub_links = list(br.links()) 
    for link in sub_links: 
    br.follow_link(link) 

当您更改页面，那东西你迭代（br.links()）正在发生变化，这可能是导致奇怪的行为。