screen-scraping

2热度

1回答

我在python上使用了splinter模块。我需要检查一个元素是否可见或不在页面上，看似唯一的告诉方法是style="display: none;"，我无法找到一种方法来检测。如何检查？

-1热度

2回答

IM试图从tr标签的国家，但它只是给我的表的第一行我怎么刮的特定行 Sub ipsearch() Dim x As Integer x = 2 Do Until x = 4000 Dim ie As New InternetExplorer ie.navigate "https://whatismyipaddress.com/ip/" &

2热度

1回答

如何使用BeautifulSoup获取Python中的特定内容？

我是Python的新手，我正在使用BeautifulSoup编写Python中的一个小刮板，以便从网页获取地址。我重视的是 enter image description here </div> </div> <div data-integration-name="redux-container" data-payload='{"name":"LocationsMapList"

0热度

1回答

casperjs /填写并提交表格在facebook错误

我试图从Facebook配置文件中取消基本信息。我的最终目标是通过使用casperjs来获得例如某人的年龄（如果信息可以在脸书上获得）。所以我安装了Casper.js。我开始填写密码和邮件以便第二次访问搜索字段。但是： ReferenceError: Can't find variable: casper phantomjs://code/scrapin.js:1 in global cod

0热度

1回答

Python的网上抓div class =“ng范围”

我是新来的蟒蛇，我想从我最喜欢的电台网站得到一些歌名，但无论我做什么，我不能进入div ui-view="main.header" class="ng-scope"得到歌曲名。我的代码，我可以从TXT只是div的第一层次阅读，但不深： <div id="audio-player" style="width: 0px; height: 0px"></div> <div id="fb-root">

1热度

2回答

用R刮，如何提取var

require(httr) require(XML) basePage <- "http://bet.hkjc.com/" h <- handle(basePage) GET(handle = h) res <- GET(handle = h, path = "racing/pages/odds_wp.aspx?date=27-09-2017&venue=HV&raceno=2") r

0热度

2回答

如何在scrapy蜘蛛中使用url的站点地图？

我想根据网页的sitemap.xml创建一个抓取网址的蜘蛛。所以我没有start_urls。我想确定使用sitemap.xml刮掉哪些网址。我曾考虑添加方法_parse_sitemap并使用requests和lxml解析它，但它可能是一种矫枉过正。是否有一些内置方法可以获得<loc>标签中的所有url？我迄今所做的：蜘蛛得到一个URL和meta = {'sitemap':True}如此分析

0热度

1回答

如何刮这个网页与R

我搜索了上下，但找不到任何解决方案，适合于此目的。我想凑这个页面（表） https://www.fxstreet.com/rates-charts/usdjpy/forecast 我试过几种方法，但不能得到报废到一个表中的数据。 library(XML) library(RCurl) url <-"https://www.fxstreet.com/rates-charts/usdjpy/f

0热度

1回答

如何在正常使用网页的同时抓取javascript？

我对js知之甚少，我试图创建一个程序，可以在播放时获取有关基于浏览器的JavaScript游戏的信息。我不能使用网络驱动程序，因为我当时正在玩游戏。当我检查谷歌浏览器上的js并查看控制台时，我可以看到我想要使用的所有信息，但我不知道如何将它保存到文件或在当时访问它以解析它。最好我可以用python来做到这一点，因为这将是我将用于我的代码，一旦我有它的信息将处理。任何帮助或在正确的方向的一个点，

0热度

1回答

如何让cURL绕过这个僵硬的僵尸程序？

我需要能够以编程方式读或刮擦该URL的内容： https://www.toysrus.com/product?productId=122872496 我试过设置用户代理，饼干，各种。我也试着在Chrome“复制为卷曲”从开发者工具 - 命令>网络，这给下面卷曲bash命令： curl 'https://www.toysrus.com/product?productId=122872496' -H