2014-10-08 75 views
1

我有从MS Word保存的html文档,现在它有一些与MS Word相关的标签。我不需要保持向后兼容性,我只需要从该文件中提取内容。问题在于特定于文字的标签不会轻易删除。BeautifulSoup - 删除MS Word特定标签?

我有这样的代码:

from bs4 import BeautifulSoup, NavigableString 

def strip_tags(html, invalid_tags): 
    soup = BeautifulSoup(html) 
    for tag in soup.findAll(True): 
     if tag.name in invalid_tags: 
      s = "" 

      for c in tag.contents: 
       if not isinstance(c, NavigableString): 
        c = strip_tags(unicode(c), invalid_tags) 
       s += unicode(c) 

      tag.replaceWith(s) 

    return soup 

将删除不需要它的标签。但是有些甚至在使用这种方法后仍然存在。 例如看看这个:

<P class="MsoNormal"><SPAN style="mso-bidi-font-weight: bold;">Some text - 
some content<o:p></o:p></SPAN></P> 
<P class="MsoNormal"><SPAN style="mso-bidi-font-weight: bold;">some text2 - 
647894654<o:p></o:p></SPAN></P> 
<P class="MsoNormal"><SPAN style="mso-bidi-font-weight: bold;">some text3 - 
some content blabla<o:p></o:p></SPAN></P> 

这是怎么看的HTML文档中。当我使用这样的方法:

invalid_tags = ['span'] 
stripped = strip_tags(html_file, invalid) 
print stripped 

它打印这样的:

<p class="MsoNormal">Some text - 
some content&lt;html&gt;&lt;body&gt;&lt;o:p&gt;&lt;/o:p&gt;&lt;/body&gt;&lt;/html&gt;</p> 
<p class="MsoNormal">some text2 - 
647894654&lt;html&gt;&lt;body&gt;&lt;o:p&gt;&lt;/o:p&gt;&lt;/body&gt;&lt;/html&gt;</p> 
<p class="MsoNormal">some text3 - 
some content blabla&lt;html&gt;&lt;body&gt;&lt;o:p&gt;&lt;/o:p&gt;&lt;/body&gt;&lt;/html&gt;</p> 

正如你可以看到某种原因htmlbody标签出现在那里,即使在HTML它不存在。如果我添加invalid_tags = ['span', 'o:p'],它将删除<o:p></o:p>标记,但如果添加删除html或body标记,则它不会执行任何操作,并且它仍保留在那里。

P.S.如果我直接更改要查找标签的位置,我可以在那里删除html标签。例如,通过在方法中添加此行(在使用findAll之前)soup = soup.body。但在此之后,body标签仍被悬挂在这些特定段落中。

回答

0

你可以试试这个:

from bs4 import BeautifulSoup 
def strip_tags(html, invalid_tags): 
    soup = BeautifulSoup(html) 
    for t in invalid_tags: 
     tag = soup.find_all(t) 
     if tag: 
      for item in tag: 
       item.unwrap() 
    return str(soup) 

,那么你只需要剥去html和body标签。

+0

谁能告诉我为什么在我的Python代码中看不到语法高亮? – xcaptain 2014-10-08 08:39:21

+0

它做同样的事情。 – Andrius 2014-10-08 08:40:19

+0

我不知道你的目的是什么。当我用你的html执行strip_tags(html,['span','o:p'])时,我可以去掉这些标签。 – xcaptain 2014-10-08 08:49:55