用python中的beautifulsoup刮IMDB.com，但无法从电影链接获得href

我试图获得一个电影的href链接（例如：在IMDB上搜索钢铁侠），但我似乎无法得到它。当我运行代码时，我总是收到“无”，但如果我删除.get（'href'），代码将返回整行html（包括我想要的链接）。我感谢任何帮助。谢谢！用python中的beautifulsoup刮IMDB.com，但无法从电影链接获得href

from bs4 import BeautifulSoup 
import requests 
from urllib.parse import urljoin # For joining next page url with base url 

search_terms = input("What movie do you want to know about?\n> ").split() 

url = "http://www.imdb.com/find?ref_=nv_sr_fn&q=" + '+'.join(search_terms) + '&s=all' 

def scrape_find_next_page(url): 
    headers = {'User-Agent': 'Mozilla/5.0'} 
    response = requests.get(url, headers=headers) 
    soup = BeautifulSoup(response.text, "html.parser") 


    next_page = soup.find('td', 'result_text').get('href') 


    return next_page 


next_page_url = scrape_find_next_page(url)

来源

2016-11-09 J.C. Diaz

它看起来像你得到我只看到了''元素＆不是一个链接 –

无处不在的href这个'在汤链接.findAll（“a”）： print link.get（“href”）' –

您正在试图获得href从td，该属性不存在。你需要得到的a标签包含href属性

next_page = soup.find('td', 'result_text').find('a').get('href')

来源

2016-11-09 15:31:01 Wondercricket

用python中的beautifulsoup刮IMDB.com，但无法从电影链接获得href

回答

相关问题