有没有办法简化这个？从文本中删除内容，python

我只开始编写python一个星期了，我正在解析和网页上抓取一个网站。我如何摆脱所有内容？尝试了几件事情，但我似乎无法弄清楚。帮助将不胜感激！有没有办法简化这个？从文本中删除内容，python

import re 
import requests 
import json 
from bs4 import BeautifulSoup, NavigableString 

url = 'http://www.grabexample.com' 
geturl = requests.get(url) 
some_text = geturl.text 
soup = BeautifulSoup(some_text, "html.parser") 
soup.prettify() 

all_on_URL = soup.find_all('a') 
grab_text = soup.get_text(strip=True) 

parse_a_text = grab_text.replace("</a>", '').replace("<a>", '').replace("<a", '') 
parse_p_text = parse_a_text.replace("</p>", '').replace("<p>", '').replace("<p", '') 
parse_div_text = parse_p_text.replace("</div>", '').replace("<div>", '').replace("<div", '') 
parse_li_text = parse_div_text.replace("</li>", '').replace("<li>", '').replace("<li", '') 
parse_span_text = parse_li_text.replace("</span>", '').replace("<span>", '').replace("<span", '') 
parse_img_text = parse_span_text.replace("</img>", '').replace("<img>", '').replace("<img", '') 
parse_ul_text = parse_img_text.replace("</ul>", '').replace("<ul>", '').replace("<ul", '') 
parse_ol_text = parse_ul_text.replace("</ol>", '').replace("<ol>", '').replace("<ol", '') 
parse_label_text = parse_ol_text.replace("</label>", '').replace("<label>", '').replace("<label", '') 
parse_h_text = parse_ol_text.replace("</h>", '').replace("<h>", '').replace("<h", '') 
parse_h1_text = parse_h_text.replace("</h1>", '').replace("<h1>", '').replace("<h1", '') 
parse_h2_text = parse_h1_text.replace("</h2>", '').replace("<h2>", '').replace("<h2", '') 
parse_h3_text = parse_h2_text.replace("</h3>", '').replace("<h3>", '').replace("<h3", '') 
parse_h4_text = parse_h3_text.replace("</h4>", '').replace("<h4>", '').replace("<h4", '') 
parse_h5_text = parse_h4_text.replace("</h5>", '').replace("<h5>", '').replace("<h5", '') 
parse_href_text = parse_h4_text.replace("href=", '').replace("<", '').replace(">", '') 
parse_box_text = parse_h4_text.replace("[]", '').replace("[", '').replace("]", '') 
parse_space_text = parse_box_text.replace("\n", "").replace(" ", "") 
parse_colon_text = parse_space_text.replace("{", '').replace("}", '').replace("#", '') 

print(parse_colon_text)

另一种方式，我试图写它，但没有工作，可能我在这里做错了什么？

def notusetags(): 
     invalid_tags= ['a', 'div', 'span', 'class', 'p', 'img', 'li', '\n'] 
     # get_text(strip=True) 
     for tag in invalid_tags: 
      for match in soup2.findAll(tag): 
       match.replaceWithChildren('') 

     print soup

其他一些方法，我试图写它，但它没有工作，可能我也错过了这里的东西吗？

invalid_tags= ['a', 'div', 'span', 'class', 'p', 'img', 'li', '\n'] 
# get_text(strip=True) 
for stripped in parse_text: 
    if stripped.name in invalid_tags: 
     s="" 
     for c in stripped.contents: 
      if not isinstance(c, NavigableString): 
       c = stripped(unicode(c), invalid_tags) 
      s+= unicode(c) 
     stripped.replaceWith(s) 
     testtext.append(stripped) 

testtext = [] 

print(testtext)

来源

2017-04-04 Sou Yang

你已经装载BeautifulSoup，W你不是用它来解析吗？这就是... – Cfreak

你想完成什么？ –

下面是关于同一主题的一个很好的答案：https://stackoverflow.com/questions/1765848/remove-a-tag-using-beautifulsoup-but-keep-its-contents – Cfreak

所以，你的第一个代码看起来相当丑陋（也包含两个副本&粘贴错误，据我所知，看看行parse_href_text = ...和parse_box_text =）。正如其他人在评论中提到的那样，使用库来解析网站可能是更好的选择。

但是，让我们看看你的代码并试图简化它：

所以首先你有不同的tags，并要删除</tag>，<tag>和<tag为他们每个人。你可以这样写一个函数：

def remove_tag(text, tag): 
    return text.replace("</{}>".format(tag), '').replace("<{}>".format(tag), '').replace("<{}".format(tag), '')

然后调用此功能适用于所有的广告代码：

tag_list = ['a', 'p', 'div', 'li', 'span', 'img', 'ul', 'ol', 'label', 'h', 'h1', 'h2', 'h3', 'h4', 'h5'] 

for tag in tag_list: 
    text = remove_tag(text, tag)

，然后删除其他项目：

others = ['href=', '<', '>', '[]', '[', ']', '\n', ' ', '{', '}', '#'] 

for s in others: 
    text = text.replace(s, '')

将所有内容一起：

import re 
import requests 
import json 
from bs4 import BeautifulSoup, NavigableString 

url = 'http://www.grabexample.com' 
geturl = requests.get(url) 
some_text = geturl.text 
soup = BeautifulSoup(some_text, "html.parser") 
soup.prettify() 

all_on_URL = soup.find_all('a') 
grab_text = soup.get_text(strip=True) 

def remove_tag(text, tag): 
    return text.replace("</{}>".format(tag), '').replace("<{}>".format(tag), '').replace("<{}".format(tag), '') 

tag_list = ['a', 'p', 'div', 'li', 'span', 'img', 'ul', 'ol', 
      'label', 'h', 'h1', 'h2', 'h3', 'h4', 'h5'] 
for tag in tag_list: 
    grab_text = remove_tag(grab_text, tag) 

others = ['href=', '<', '>', '[]', '[', ']', '\n', ' ', '{', '}', '#'] 
for s in others: 
    grab_text = grab_text.replace(s, '') 

print(grab_text)

来源

2017-04-06 11:14:54 Felix

有没有办法简化这个？从文本中删除内容，python

回答

相关问题