screen-scraping

0热度

1回答

我正在尝试通过Google Sheets ImportXML函数返回来自Google的第一个网址。我已经从谷歌搜索的元件复制的XPath和具有该电流式： index(ImportXML("http://www.google.co.uk/search?q="&A2&"+"&B2&"+"&C2&"+"&D2,"//*[@id="rso"]/div/div/div[1]/div/div/div/div

3热度

1回答

r在网页中抓取（带循环）

我需要从this link中抓取数据并将表格保存为csv。我现在拥有的一切：我废能利用rvest第一页，第二页，并使用此代码保存这些表： library(rvest) webpage <- read_html("https://bra.areacodebase.com/number_type/M?page=0") data <- webpage %>% html_nodes("ta

1热度

1回答

故障使用Rvest刮

我试图做一些事情very similar to this question. 不过，我需要一个稍微不同的表。听起来很简单，对吧？但是我遇到了一个奇怪的例子，“相同的代码在两种情况下似乎工作方式不同”。这是一个简单的测试例子。如果我运行下面的代码，第一个实例运行良好。第二个返回以下错误： Error in UseMethod("html_table") : no applicable method

1热度

2回答

如何使用硒和Python刮取嵌套数据>

我基本上想抓2016年2月 - 至今在<span class="visually-hidden">下，但我看不到它。这里的HTML代码处： <div class="pv-entity__summary-info"> <h3 class="Sans-17px-black-85%-semibold">Litigation Paralegal</h3> <h4> <span class

0热度

2回答

Python网络刮：睡眠和请求之间的差异（页面，超时= X）

当在一个循环中刮多个网站，我注意到存在之间的速度相当大的差异， sleep(10) response = requests.get(url) 和， response = requests.get(url, timeout=10) 也就是说，timeout要快得多。此外，对于这两种设置，我希望在请求下一页之前每页至少10秒的刮取时间，但事实并非如此。为什么速度有这样的差异？为什么每页

0热度

1回答

将bs4更改为使用正则表达式更快的东西

这是我的第一个问题（业余蟒学习者）。我把它写成了正则表达式，但是我读了几个网站，比如this one，这些网站讨论的是美丽的缓慢。我也读过lxml更快，我读了它的文档，但我仍然不知道如何（或者是否有意义）在这里更快地交换bs4。因此，我非常感谢一个关于如何在下面的代码中更快换掉bs4的例子。如果我对这种情况的理解是错误的，请让我知道（我还在学习）！谢谢！ ''' This script ext

0热度

2回答

如何报废动态网站与Python

我开始用刮，我试图开始使用具有动态内容的网页抓取。要开始使用此，我想尝试与本网站我想拿起桌上日期锦标赛面R RK VRK得分的DR A％DF％1stIn 1％第二％BPSvd时间

0热度

3回答

php javascript检测页面变化

我想检测页面的HTML中的具体更改。该页面的HTML使用Ajax进行刷新。在给定的时间间隔，让我们说1秒，ajax调用，并修改了一些html。我想探索这种方式，当某个词出现时，发送一封电子邮件（发送一个http请求到一个我发送邮件的URL--这部分我知道该怎么做）。这可能吗？我不能用PHP刮页面，因为它不在可公开访问的网站。而我根本无法刮掉页面。我得到各种错误。

0热度

1回答

Python的TXT提取器和组织者

所以我需要提取一些costumers的细节，并将其保存在一个新的数据库中所有我有它的唯一一个TXT文件，所以我们正在谈论5000 costumers或更多，txt文件它保存所有这样： first and last name NAME SURNAME zip country n. phone number mobile United Kingdom +1111111111 e-mai

-3热度

2回答

如何将URL中的信息拖入我的swift应用程序

我想首先说我是一个快捷（以及一般编码）的完全新手。我想从URL（即：体育赛事列表）中提取一些信息到我的应用中的某个视图控制器视图中。我查阅了各种线程，其中引用了kanna和JSON，但正如我所提到的那样，我对这个新手很感兴趣，所以这有点超出我的理解。任何人都可以提供一些简单的步骤或知道一些视频/文件，我可以读到这一点来实现这一点？谢谢