Python BeautifulSoup webcrawling：获取没有链接或类标签的文本

我试图抓取的网站是http://www.boxofficemojo.com/yearly/chart/?yr=2015&p=.htm。这个网站有一个电影列表，并且对于每部电影，我想在表格中获得以下信息，不包括日期。Python BeautifulSoup webcrawling：获取没有链接或类标签的文本

enter image description here

我有这个麻烦，因为文本没有链接或任何类别的标签。我尝试过使用多种方法，但都没有工作。

这是我迄今为止的一种方法，只是为了获得每部电影的排名。我所要的输出只是每部电影的等级，然后有每个电影，周末总值的名单另一份名单的组成名单的列表等

listOfRanks = [[1, 1, 1,], [1, 2, 3], [3, 5,1]], etc. 
listOfWeekendGross = [[208,806,270,106588440,54200000], [111111111, 222222222, 333333333]] 


def getRank(item_url): 
    href = item_url[:37]+"page=weekend&" + item_url[37:] 
    response = requests.get(href) 
    soup = BeautifulSoup(response.content, "lxml") # or BeautifulSoup(response.content, "html5lib") 
    rank = soup.select('tbody > tr > td > center > table > tbody > tr > td > font') 
    print rank

这是我调用该函数 -

def spider(max_pages): 
    url = 'http://www.boxofficemojo.com/yearly/chart/?page=' + str(max_pages) + '&view=releasedate&view2=domestic&yr=2015&p=.htm' 
    source_code = requests.get(url) 
    plain_text = source_code.text 
    soup = BeautifulSoup(plain_text) 
    for link in soup.select('td > b > font > a[href^=/movies/?]'): 
     href = 'http://www.boxofficemojo.com' + link.get('href') 
     getRank(href)

问题是getRank（href）方法没有正确地向列表添加行列。问题是这条线我认为 -

rank = soup.select('tbody > tr > td > center > table > tbody > tr > td > font')

这可能不是正确的方式来获取此文本。

如何从本网站获得所有等级，周末总数等？

+++++++++++++++++++++++++++++++++ enter image description here

enter image description here

来源

2015-07-09 alphamonkey

是的，问题在于你正在使用的选择器。你看，那个网站的标记是，很好，很不好。这些表格没有正确编码，实际上它们缺少tbody标签，但Google Chrome浏览器仍然会添加它们，这就是为什么您在Web Developer Tools中看到它们的原因。

但是，正如我所说的，它们不在实际的HTML代码中，所以如果您在选择器中使用tbody，那么BeautifulSoup无法匹配行。看起来该表具有类chart-wide，因此你可以使用目标行：

rows = soup.select('.chart-wide tr')

之后，你可以遍历这些rows，跳过第一个（因为那会是报头）和解析其他人和他们的个人细胞。

像这样：

def getRank(item_url): 
    href = item_url[:37]+"page=weekend&" + item_url[37:] 
    response = requests.get(href) 
    print response.status_code, "for", href 
    soup = BeautifulSoup(response.content) # or BeautifulSoup(response.content, "html5lib") 

    rows = soup.select('.chart-wide tr') 

    header_skipped = False 
    for row in rows: 
     if not header_skipped: 
      header_skipped = True 
      continue 

     headers = "Date Rank WeekendGross Change Theaters Change/Avg GrossToDate Week".split() 

     for header, child in zip(headers, row.children): 
      print header, ":", child.text

来源

2015-07-10 00:52:28

出于某种原因“child.text”行不起作用。我也试过child.string和child.getText（）。具体的错误是UnicodeEncodeError：'charmap'编解码器不能在位置6编码字符u'\ x96'：字符映射到。如果我只是打印标题部分，它的工作原理 – alphamonkey

你确定吗？这是我正在使用的整个脚本，它在我的机器上工作：https://ideone.com/Jt3OCh –

我认为可能有错误的编码文件，基于错误文件“C：/ Users/younjin /PycharmProjects/untitled/movies.py“，第96行，在getRank中打印标题，”：“，child.text 文件”C：\ Python27 \ lib \ encodings \ cp1252.py“，第12行，编码为 return codecs.charmap_encode（input，errors，encoding_table） UnicodeEncodeError：'charmap'编解码器无法编码字符u'\ x96'在位置6：字符映射到 – alphamonkey

看似，这个图表表是动态的生成，使用Phantomjs，一切正常

from selenium import webdriver 
from bs4 import BeautifulSoup 
driver = webdriver.PhantomJS() 
driver.get('http://www.boxofficemojo.com/movies/?page=weekend&id=jurassicpark4.htm') 
soup = BeautifulSoup(driver.page_source) 
soup.select('table.chart-wide tbody tr td font')

出[1]

[<font size="2"><a href="/movies/?page=weekend&amp;id=jurassicpark4.htm&amp;sort=date&amp;order=DESC&amp;p=.htm"><b>Date<br>(click to view chart)</br></b></a></font>, 
<font size="2"><a href="/movies/?page=weekend&amp;id=jurassicpark4.htm&amp;sort=rank&amp;order=ASC&amp;p=.htm">Rank</a></font>, 
<font size="2"><a href="/movies/?page=weekend&amp;id=jurassicpark4.htm&amp;sort=wkndgross&amp;order=DESC&amp;p=.htm">Weekend<br>Gross</br></a></font>, 
<font size="2"><a href="/movies/?page=weekend&amp;id=jurassicpark4.htm&amp;sort=perchange&amp;order=DESC&amp;p=.htm">%<br>Change</br></a></font>, 
<font size="2"><a href="/movies/?page=weekend&amp;id=jurassicpark4.htm&amp;sort=theaters&amp;order=DESC&amp;p=.htm">Theaters</a></font>, 
<font size="2"><a href="/movies/?page=weekend&amp;id=jurassicpark4.htm&amp;sort=theaterchange&amp;order=ASC&amp;p=.htm">Change</a>/</font>, 
<font size="2"><a href="/movies/?page=weekend&amp;id=jurassicpark4.htm&amp;sort=avg&amp;order=DESC&amp;p=.htm">Avg.</a></font>, 
<font size="2"><a href="/movies/?page=weekend&amp;id=jurassicpark4.htm&amp;sort=todategross&amp;order=DESC&amp;p=.htm">Gross-to-Date</a></font>, 
<font size="2"><a href="/movies/?page=weekend&amp;id=jurassicpark4.htm&amp;sort=weeknum&amp;order=ASC&amp;p=.htm">Week<br>#</br></a></font>, 
<font size="2"><a href="/weekend/chart/?yr=2015&amp;wknd=24&amp;p=.htm"><b>Jun 12–14</b></a></font>, 
<font size="2">1</font>, 
<font size="2">$208,806,270</font>, 
<font size="2">-</font>, 
<font size="2">4,274</font>, 
. 
. 
. 
<font size="2">$500,373,420</font>, 
<font size="2">3</font>, 
<font size="2"><a href="/weekend/chart/?yr=2015&amp;wknd=27&amp;p=.htm"><b>Jul 3–5</b></a></font>, 
<font size="2">2</font>, 
<font size="2">$29,242,025</font>, 
<font size="2"><font color="#ff0000">-46.4%</font></font>, 
<font color="#ff0000">-46.4%</font>, 
<font size="2">3,737</font>, 
<font size="2"><font color="#ff0000">-461</font></font>, 
<font color="#ff0000">-461</font>, 
<font size="2">$7,825</font>, 
<font size="2">$556,542,980</font>, 
<font size="2">4</font>]

来源

2015-07-10 01:03:44

Python BeautifulSoup webcrawling：获取没有链接或类标签的文本

回答

相关问题