screen-scraping

3热度

1回答

我试图从多个网站上取消信息。 <div class="detailSection"> Officer/Director Detail Name & Address Title VD

0热度

1回答

如何获取给定维基百科页面的每日或每周编辑统计信息

我想知道是否有网站（或程序方法）获取给定维基百科页面的每周编辑统计信息。我知道我可以在这里获得维基百科文章的流量统计信息：http://stats.grok.se/，但我不知道Wikipedia是否以相同的方式记录编辑统计信息。我已经发现这个网页，它生成一个网页的编辑历史的图表按周：https://tools.wmflabs.org/xtools/wikihistory/wh.php?page_

1热度

1回答

Python：刮的网站没有返回任何HTML

所以我有一个问题，抓取一个页面的HTML由于某种原因，当我发送请求到网站，然后使用html.fromstring(site.content)它抓住了一些页面的HTML，但其中一些只是打印出来<Element html at 0x7f6359db3368> 这是有原因吗？我能做些什么来解决这个问题？这是一种安全性吗？此外，我不希望使用的东西像美丽的汤或Scapy的尚未..我想多学习一些之前我决定搞这

0热度

1回答

使用硒通过window.open下载文件

我想刮一个网页，点击一个链接导致一个新的窗口弹出打开，立即下载CSV文件。我一直无法找出url的格式，因为它的javascript相当密集（并且通过onClick属性调用了一个函数，而另一个函数是href属性的一部分。我之前没有和Selenium一起工作过，所以我希望在开始之前确认我想要做的事情是可能的我曾经在某处读过通过新的弹出窗口下载文件并不一定是我可以用Selenium做的事情任何意见都将

0热度

2回答

用查询刮网站

我想从特定的网站或整个网络上刮去期刊的影响因子。我一直在寻找一些接近但很难运气的东西。这是我第一次尝试使用python进行网页扫描。我试图找到最简单的方法。我有一个属于期刊的ISSN号码列表，我想从网站或特定网站检索它们的影响因子值。该列表的值超过50K，因此手动搜索值实际上很难。输入型 Index,JOURNALNAME,ISSN,Impact Factor 2015,URL,ABBV,S

1热度

1回答

屏幕抓取iTunes Connect的：获得通过

登录页面进行屏幕抓取后iTunes Connect中数据，我试图让过去使用Python的，请求，BeautifulSoup其登录。这是iTunes Connect的登录页面： https://itunesconnect.apple.com/itc/static/login 通常情况下，开始在其他网站的屏幕抓取，我能够从网页的隐藏内容抓取一个令牌通过登录来获得然后我可以使用凭据进行登录，从而允许网

1热度

1回答

硒Internet Explorer的驾驶者希望功能错误

我建立我的第一个硒刮刀，和我得到的错误：异常线程“main” org.openqa.selenium.SessionNotCreatedException：无法创建新的远程会话。所需的能力=能力[{ensureCleanSession = TRUE，browserName = IE浏览器，版本=，平台= WINDOWS}]，要求的能力=能力[{}] 以下代码： import java.io.*

0热度

3回答

如何使用python从网站刮图表？

编辑：所以我有以下保存到一个文本文件，但使用重新提取数据仍然不返回我什么脚本代码。我的代码是： file_object = open('source_test_script.txt', mode="r") soup = BeautifulSoup(file_object, "html.parser") pattern = re.compile(r"^var (chart[0-9]+) = n

0热度

1回答

C＃HTTPClient表单发布和提交问题

我想用一个简单的表单来简化我的工作的研究部分来做一些简单的PHP网站刮屏幕。该页面有三个字段的简单表单和一个提交按钮。当我运行我的代码时，返回原始页面，就像我没有提交任何内容。我也尝试在php url之后将其粘贴到字段中作为？name = etc ...，但是这也会使我返回到原始页面，就好像我没有按下提交按钮一样。这里是我当前的代码： private async void postReques

0热度

1回答

只是一对夫妇循环后刮开宏冻结

我有一个刮过的宏，以前工作得很好，现在只是一个循环（有时是一个）后冻结。我已经完成了我所能想到的优化宏而不占用太多CPU。对于宏为什么会像这样冻结，我完全困惑不解。我的代码如下，任何提示或批评将不胜感激！ Application.DisplayStatusBar = True Application.Calculation = xlCalculationManual Application.S