蟒蛇：排除字符串正则表达式

Question

我试图建立一个网站刮板获得价格折扣http://fetch.co.uk/dogs/dog-food?per-page=20

我这里有下面的代码：

import re 
from urllib.request import urlopen 
from bs4 import BeautifulSoup 

html = urlopen(url above) 
bsObj = BeautifulSoup(html,"html.parser") 

wrapList = bsObj.findAll("",{"class": re.compile("shelf-product__self.*")}) 
for wrap in wrapList: 
    print(wrap.find("",{"itemprop": re.compile("shelf-product__price.*(?!cut).*")}).get_text()) 
    print(wrap.find("",{"class": re.compile("shelf-product__title.*")}).get_text()) 

在每一个包裹，有时有2个不同的价格，我试图排除降价并获得低于该价格（促销价格）的价格。

我无法弄清楚如何排除切割价格，上述表达式不起作用。

"shelf-product__price shelf-product__price--cut [ v2 ]" 
"shelf-product__price shelf-product__price--promo [ v2 ]" 

我用下面的方法，但我想了解我得到错误的正则表达式。对不起，如果代码不漂亮，我正在学习

import re 
from urllib.request import urlopen 
from bs4 import BeautifulSoup 

html = urlopen(url above) 
bsObj = BeautifulSoup(html,"html.parser") 

wrapList = bsObj.findAll("",{"class": re.compile("shelf-product__self.*")}) 
for wrap in wrapList: 
    print(wrap.find("",{"itemprop": re.compile("price.*")}).get_text()) 
    print(wrap.find("",{"class": re.compile("shelf-product__title.*")}).get_text()) 

Answer 1

有几个问题。首先是.*(?!cut).*相当于.*。这是因为第一个.*会消耗所有剩余的字符。那么当然(?!cut)检查通过，因为它在字符串的末尾。最后.*消耗0个字符。所以它总是一场比赛。这个正则表达式会给你误报。它给你什么都没有的唯一原因是你正在寻找itemprop当你正在寻找的文本是在class。

您的解决方法对我来说看起来不错。但是如果你想在课堂上进行搜索，我会这样做。

import re 
from urllib.request import urlopen 
from bs4 import BeautifulSoup 

html = urlopen('http://fetch.co.uk/dogs/dog-food?per-page=20') 
bsObj = BeautifulSoup(html,"html.parser") 

wrapList = bsObj.findAll("",{"class": "shelf-product__self"}) 

def is_price(tag): 
    return tag.has_attr('class') and \ 
      'shelf-product__price' in tag['class'] and \ 
      'shelf-product__price--cut' not in tag['class'] 

for wrap in wrapList: 
    print(wrap.find(is_price).text) 
    x=wrap.find("",{"class": "shelf-product__title"}).get_text() 

正则表达式很好，但我认为用布尔值来做布尔逻辑更容易。

Answer 2

为什么要使用那个复杂的代码，你可以尝试以下 - span[itemprop=price]意味着选择所有span有属性itemprop是price。

import re 
from urllib.request import urlopen 
from bs4 import BeautifulSoup 

#get possible list of urls 
urls = ['http://fetch.co.uk/dogs/dog-food?per-page=%s'%n for n in range(1,100)] 

for url in urls: 
    html = urlopen(url) 
    bsObj = BeautifulSoup(html,"html.parser") 
    for y in [i.text for i in bsObj.select("span[itemprop=price]")]: 
    print y.encode('utf-8')