使用CURL将特定数据输入到数据库中

我是使用CURL和新手PHP编码器的新手。我想在网页上使用特定的元素（通过AJAX进行更改），并使用CURL将它们输入到数据库中。到目前为止，我可以用CURL写一个网页的文本文件，但我真的不知道下一步该去哪里。使用CURL将特定数据输入到数据库中

来源

2010-07-13 Scott1717

你需要做所谓的'刮'。以下是我在Google上找到的一个小教程：http://www.oooff.com/php-scripts/basic-php-scraped-data-parsing/basic-php-data-parsing

来源

2010-07-13 01:25:46 thomasfedb

这通常可以通过使用cURL来抓取页面来处理。如果您连续抓取一堆页面，我建议使用curl_multi系列函数来并行访问它们。如果您正在寻找页面的特定部分，则可以将HTML文档加载到SimpleXMLElement中，并使用xpath来查询特定数据。

这个解决方案的唯一问题是，你说你需要从页面上刮取AJAX内容。 cURL只与服务器交互 - 它不能触发客户端JavaScript。某些AJAX应用程序的服务器端等同于您正在查看的AJAX内容（例如，http://example.com#test可能会翻译为http://example.com/test）。如果您正在使用的网站没有这种类型的映射，则可以尝试找出正在加载AJAX内容的URL并使用cURL直接拖动这些URL。

如果您需要更高级的客户端功能，您应该查看Selenium。如果你谷歌的“硒屏幕刮”你应该看到一些interesting results。我知道在PHPUnit中有一个Selenium集成可能值得一看。

下面是另一个涉及屏幕抓取AJAX页面的问题：How do you scrape AJAX pages?

来源

2010-07-13 03:13:43

使用CURL将特定数据输入到数据库中

回答

相关问题