从网页表中刮取值

Question

我想从这个color dictionary创建一个颜色名称的Python字典到背景颜色。

访问颜色名称字符串和背景颜色十六进制值的最佳方式是什么？我想为颜色名称 - >十六进制值创建映射，其中1个颜色名称映射到1个或更多十六进制值。

下面是我的代码：

import requests 
from bs4 import BeautifulSoup 

page = requests.get('http://people.csail.mit.edu/jaffer/Color/M.htm') 
soup = BeautifulSoup(page.text) 

我不知道如何定义如何从表中刮掉。我试过下面进入正题的格式，是非常有用的：

soup.td 
<td nowrap="" width="175*">abbey</td> 


soup.get_text() 
"(M)\n td { padding: 0 10px; } \n\n(M) Dictionary of Color Maerz and Paul, Dictionary of Color, 1st ed. \n\nabbey207\nabsinthe [green] 120\nabsinthe yellow105\nacacia101102\nacademy blue173\nacajou43\nacanthe95\nacier109\nackermann's green137\naconite violet223.... 
.............\nyolk yellow84\nyosemite76\nyucatan5474\nyucca150\nyu chi146\nyvette violet228\n\nzaffre blue 179182\nzanzibar47\nzedoary wash71\nzenith [blue] 199203\nzephyr78\nzinc233265\nzinc green136\nzinc orange5053\nzinc yellow84\nzinnia15\nzulu47\nzuni brown58\n\n" 


soup.select('tr td') 
[... 
<td nowrap="" width="175*">burnt russet</td>, 
<td style="background-color:#722F37; color:#FFF" title="16">16</td>, 
<td style="background-color:#79443B; color:#FFF" title="43">43 
</td>, 
<td nowrap="" width="175*">burnt sienna</td>, 
<td style="background-color:#9E4732; color:#FFF" title="38">38 
</td>, 
...] 

编辑： 我想凑在TD元素的字符串，例如“燃烧的黄褐色”的颜色和字符串（十六进制成分）在跟随其中将“style”属性指定为背景颜色的td元素。

我想要的字典如下所示：

color_map = {'burnt russet': [#722F37, #79443B], 'burnt sienna': [#9E4732]} 

Answer 1

只要看看与NOWRAP的TDS，提取文本，并得到下面的兄弟姐妹TD的风格属性：

import requests 
from bs4 import BeautifulSoup 

page = requests.get('http://people.csail.mit.edu/jaffer/Color/M.htm') 
soup = BeautifulSoup(page.content) 
for td in soup.select("td[nowrap]"): 
    print(td.text, [sib["style"] for sib in td.find_next_siblings("td")]) 

输出的一个片段：

(u'abbey', ['background-color:#604E97; color:#FFF']) 
(u'absinthe [green] ', ['background-color:#8A9A5B']) 
(u'absinthe yellow', ['background-color:#B9B57D']) 
(u'acacia', ['background-color:#EAE679', 'background-color:#B9B459']) 
(u'academy blue', ['background-color:#367588']) 
(u'acajou', ['background-color:#79443B; color:#FFF']) 
(u'acanthe', ['background-color:#6C541E; color:#FFF']) 
(u'acier', ['background-color:#8C8767']) 
(u"ackermann's green", ['background-color:#355E3B; color:#FFF']) 
(u'aconite violet', ['background-color:#86608E']) 
(u'acorn', ['background-color:#7E6D5A; color:#FFF']) 
(u'adamia', ['background-color:#563C5C; color:#FFF']) 
(u'adelaide', ['background-color:#32174D; color:#FFF']) 

如果你只是想您可以在"; "上拆分样式文本的十六进制值，然后拆分子字符串:：

page = requests.get('http://people.csail.mit.edu/jaffer/Color/M.htm') 
soup = BeautifulSoup(page.content) 
d = {} 
for td in soup.select("td[nowrap]"): 
    cols = td.find_next_siblings("td") 
    d[td.text] = [st.split(":", 1)[-1] for sib in cols for st in sib["style"].split("; ")] 

print(d) 

这会给你像dioct：

{u'moonlight ': ['#FAD6A5', '#BFB8A5'], u'honey bird': ['#239EBA'], u'monte carlo ': ['#007A74', '#317873'],............... 

您将需要为使用lxml或html5lib作为解析器来处理损坏的HTML。我假设你正在使用其中的一个，就好像你不会得到你所做的输出一样。

Answer 2

您尝试刮的网页是可怕的形成HTML。在View Page Source之后，很显然，大多数行以<tr>开头，然后有一个或多个<td>元素，全部没有它们的结束标记。使用BeautifulSoup应该指定一个HTML解析器，对于这种情况，我们最好希望解析器能够理解表结构。

我提出了一个依赖于网页本身的结构化格式的解决方案。我没有将网页解析为HTML，而是使用每种颜色都有自己的行，并且每行具有通用格式的事实。

import re 
import requests 

page = requests.get('http://people.csail.mit.edu/jaffer/Color/M.htm') 
lines = page.text.splitlines() 

opening = '<tr><td width="175*" nowrap>' 
ending = '<td title="' 
bg_re = r'style="background-color:(#.{6})' 
color_map = dict() 
for line in lines: 
    if line.startswith(opening): 
     color_name = line[len(opening):line.find(ending)].strip() 
     color_hex = [match.group(1) for match in re.finditer(bg_re, line)] 
     if color_name in color_map: 
      color_map[color_name].extend(color_hex) # Note: some colors are repeated 
     else: 
      color_map[color_name] = color_hex 

color_map['burnt russet'] 
## ['#722F37', '#79443B'] 

快速和肮脏，但它的工作原理。