抓取时请求？

Question

我在CMU大一谁是他的第一个任期的项目完全失去了，我会很感激你的帮助:)

我写一个刮削工具，有时请求只是没有响应。它不会返回任何东西;它甚至不会返回错误。这个问题使我的刮板卡在一个URL上，而不是意识到它被卡住并继续前进。下面是代码：

def extractHTML(url): 
    startTime = time.time() 
    headers = requests.utils.default_headers() 
    headers.update(
     {'User-Agent': 
     'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0',}) 
    paper1Link = requests.get(url,headers=headers) 
    papaer1Content=BeautifulSoup(paper1Link.content,"lxml") 
    return str(papaer1Content) 

1. 如何使Python承认，我坚持，打破了几秒钟？
2. 这个网站：http://www.apa.org/甚至不会授予我访问权限，即使我更改头使请求看起来像一个普通的孤独。我将如何能够从中获得请求？

Answer 1

requests documentation有一个section called "Timeouts".也许你应该从那里开始。

paper1Link = requests.get(url,headers=headers, timeout=0.4)