如何使用正则表达式来捕获正确的重复组？

Question

包含2条彼此相距很远的html，如下所示。请注意，在这两行的开头有两个相同的字符串。

<a href="http://example.com">file 1</a><a href="http://example.com/right2">file 2</a><a href="http://example.com/right3">file 3</a> 

<a href="http://example.com">file 1</a><a href="http://example.com/left2">file 2</a><a href="http://example.com/left3">file 3</a> 

我想正则表达式来给我只能从上面的第一线，这是

http://example.com 
http://example.com/right2 
http://example.com/right3 

file 1 
file 2 
file 3 

如果我用这个正则表达式

re.compile('<a href="(.+?)">(.+?)</a>').findall() 

然后，我有

结果

http://example.com 
http://example.com/right2 
http://example.com/right3 
http://example.com 
http://example.com/left2 
http://example.com/left3 

file 1 
file 2 
file 3 
file 1 
file 2 
file 3 

请帮忙。谢谢。

Answer 1

保存href值。如果发现重复的属性值停止：

>>> import re 
>>> matches = re.findall('<a href="(.+?)">(.+?)</a>', html_string) 
>>> seen = set() 
>>> for href, text in matches: 
...  if href in seen: 
...   break 
...  seen.add(href) 
...  print('{} {}'.format(href, text)) 
... 
http://example.com file 1 
http://example.com/right2 file 2 
http://example.com/right3 file 3 

使用Beautiful Soup：

from bs4 import BeautifulSoup 
soup = BeautifulSoup(html_string) 
seen = set() 
for tag in soup.select('a[href]'): 
    if tag['href'] in seen: 
     break 
    seen.add(tag['href']) 
    print('{} {}'.format(tag['href'], tag.text))