与不需要的链接匹配

Question

我写过一个库，它通过从维基百科中提取href链接并保存它们来创建一个持久层。我意识到我有一个链接，我不关心那个标签为/wiki/Cookbook:Table_of_Contents。

模仿!~（不匹配）并保持Pythonic的最佳方式是什么？

为了更好的上下文和理解，我会解决这个问题，像这样的红宝石：

if link =~ %r{^/wiki/Cookbook} && link !~ /Table_of_Contents/ 

我的代码：

def fetch_links(self, proxy): 
    if not self._valid_proxy(proxy): 
     raise ValueError('invalid proxy address: {}'.format(proxy)) 
    self.browser.set_proxies({'http': proxy}) 
    page = self.browser.open(self.wiki_recipes) 
    html = page.read() 

    link_tags = SoupStrainer('a', href=True) 
    soup = BeautifulSoup(html, parse_only=link_tags) 
    recipe_regex = r'^\/wiki\/Cookbook' 
    return [link['href'] for link in soup.find_all('a') if 
      re.match(recipe_regex, link['href'])] 

Answer 1

有多种方法来排除不需要的链接。

一种选择将是pass a function在href参数值：

soup.find_all('a', href=lambda x: 'Table_of_Contents' not in x) 

这将过滤掉那些没有Table_of_Contents的href属性中a标签。

例子：

from bs4 import BeautifulSoup 

data = """ 
<div> 
    <a href="/wiki/Cookbook:Table_of_Contents">cookbook</a> 
    <a href="/wiki/legal_link">legal</a> 
    <a href="http://google.com">google</a> 
    <a href="/Table_of_Contents/">contents</a> 
</div> 
""" 

soup = BeautifulSoup(data) 
print [a.text for a in soup.find_all('a', href=lambda x: 'Table_of_Contents' not in x)] 

打印：

[u'legal', u'google']