web-scraping

3热度

3回答

说你必须要么应用功能，个人DOM元素的选项或它们的列表：个人： $('#element1').click(function() { $(this).hide(); return false; }); $('#element2').click(function() { $(this).hide(); return false; }); $('#ele

2热度

3回答

如何在java应用程序的文本区域显示html格式的文本？

我正在使用我的Java应用程序从网站上删除数据，并且想要在Swing中创建的文本区域中解析HTML页面代码后显示结果。文本如：hello <b>every</b>one应显示为：'hello 每 one'在文本区域中。谢谢！

-3热度

1回答

刮多个IP，在java

基本上，我有一个应用程序刮。它每分钟刮n件物品。目前我只有一个IP。我正在抓取的网站允许我为每个IP 3个连接。我在考虑获得另一个IP。所以我将能够获得6个连接。理论上我应该可以在40秒内或多或少地获得n个物品。目前我使用java（commons-httpcore）来完成工作。我不确定这是java问题还是操作系统问题。我的机器有IP 1和IP 2 我该如何连接到使用IP 1和使用

24热度

2回答

如何使用scrapy中的CrawlSpider点击javascript onclick链接？

我想scrapy抓取网页，去到下一个环节是这样的： <a href="#" onclick="return gotoPage('2');"> Next </a> 将scrapy能够解释的是JavaScript代码？随着的LiveHTTPHeaders扩展，我发现，点击下一步生成POST请求并提供一个真正的那块巨大的“垃圾”的开始是这样的： encoded_session_hidden_map

2热度

2回答

HTML Agility Pack屏幕抓取XPATH不返回数据

我试图为Digikey编写一个屏幕抓取工具，该工具将允许我们公司在零件停产时保持定价，零件可用性和产品更换的准确跟踪。我在Chrome Devtools中看到的XPATH与Firefox上的Firebug以及我的C＃程序看到的差异似乎存在差异。说我刮目前的页面是http://search.digikey.com/scripts/DkSearch/dksus.dll?Detail&name=296

3热度

1回答

刮谷歌搜索SEARCH

问：关于编程工具/脚本以自动从Google代码搜索结果中提取所有项目文件的建议？注意：这个问题是专门为代码搜索： http://www.google.com/codesearch 而不是“谷歌代码”已经有repositary访问。动机：一个开源项目的官方网站早已没有任何联系导致追赶它。项目文件仍然可用，但仅限于谷歌代码搜索结果（目前）。不幸的是，有太多的文件可以通过手工一个一个地剪切和删除。

2热度

2回答

那里有一个jQuery的webscraper吗？

我想从使用jQuery和Adobe AIR的外部网站抽出一些信息。现在，我使用隐藏的div和jQuery的加载函数来加载外部网站的片段，一旦信息加载我用选择器解析一些信息。这很好，但它有点肮脏，我需要执行几次（不想需要很多隐藏的div）。如果有人知道写在jQuery的一个好webscrapper也许另一种方法我错过

1热度

1回答

如何在窗体中指定控制器和动作以创建新资源

我有QuestionsController和TrueFalseQuestionsController。我建了一个表单创建问题真/假，这是我的表格： <%= simple_form_for @question, defaults: { error: false } do |question_form| %> <fieldset> <legend>Question</legend>

3热度

2回答

可可：当我有一个“id按钮”变量时如何得到按钮的类型

我正在研究一些代码，我需要能够根据“id按钮”变量获得按钮的类型。该按钮可以是收音机，复选框或简单的按钮。 NSButton类具有setButtonType成员，但没有获取按钮类型的功能。

0热度

1回答

序列化多个列表<T>对象到相同的XML文件C＃

大家好我有三个列表包含来自同一类的对象。例如，这里是我的清单： List<Course> courselvl4 = new List<Course>(); List<Course> courselvl5 = new List<Course>(); List<Course> courselvl6 = new List<Course>(); 我在想，如果有可能，序列化每个列表