关于刮twitter数据

2017-10-10 56 views -1 likes

-1

如何从twitter中提取一个人的追随者？例如，如果我想提取特朗普的追随者名单，如何使用BeautifulSoup做到这一点？关于刮twitter数据

我试图在twitter中提取Finn Balor的追随者列表。我使用了url并将BeeautifulSoup对象应用于它。但它没有给出文档中我在“查看页面源代码”中看到的内容。如何解决这个问题？

import requests 
from bs4 import BeautifulSoup 
r=requests.get("https://twitter.com/FinnBalor/followers") 
c=r.content 
soup=BeautifulSoup(c,"html.parser") 
soup.find_all("div",{"class":"ProfileCard-content"})

这是我使用的代码。

来源

2017-10-10 Akhil Reddy

请提供[最小，完整且可验证的示例]（https://stackoverflow.com/help/mcve） – bhansa

您能否提供一些代码？ – kvorobiev

我已经添加了我使用的代码。编码的最后一行不起作用。 –

回答

Twitter提供REST APIs您可以使用它们与其服务进行交互。

还有一堆基于Python的客户端，我们可以在不重新发明轮子的情况下使用它们。我想要的是Tweepy。 Tweepy有一个很好的文档，你可以按照获取twitter数据。

来源

2017-10-10 06:15:05 amrit

我们不能使用BeautifulSoup为此进行刮擦吗？ –

是的，你可以但如果有提供休息API，那么你为什么要使用scraping？而且如果你想你可以做到这一点，但你需要验证自己从twitter获取数据.....并且可以完成身份验证通过Scrapy框架，或者您可以使用Selenium with BeautifulSoup。 – amrit

很好。我现在明白了，非常感谢你 –

关于刮twitter数据

回答

相关问题