从Google搜索中获取网址和标题

从给定Google搜索字词获取网址和标题的最简单方法是什么？我只想做一次这样的特定术语，我想获得所有的网址/标题，而不是前10个。如果有一种方法可以获得分隔的响应（例如以CSV格式），那将是理想的。我不想重新发明轮子，但如果这是必要的我是游戏来做到这一点（我在Windows框中，我可以在PHP脚本）。我只是在寻找这样做的最快最可靠的，常见的方式..从Google搜索中获取网址和标题

更新：的建议迄今似乎需要编码适量的，既解析HTML/XML，并循环结果集（增加启动变量，点击“下一步”）。是否有现有的计划可以快速做到这一点？

来源

2011-02-11 babonk

**所有网址**即使是“从Google搜索中获取标题和网址”（不含引号）的短语，也会返回[13,900,000]（http://www.google.com/#sclient=psy&hl=zh-CN&site =＆source = hp＆q = get + titles + and + urls + from + google + search＆aq = f＆aqi =＆aql =＆oq =＆pbx = 1＆psj = 1＆fp = 1＆cad = b）results ... – 2011-02-11 23:32:00

只有894个搜索结果 – babonk 2011-02-11 23:33:55

有很多方法可以做到这一点。你说你知道PHP，那么为什么不使用cURL和一些正则表达式呢？

<?php 
$c = curl_init(); 
curl_setopt($c, CURLOPT_URL, "http://www.google.com/search?q=[search term here]&start=0"); 
curl_setopt($c, CURLOPT_RETURNTRANSFER, 1); 
$data = curl_exec($c); 
curl_close($c); 
?>

生成的源代码将在$ data中。从这一点开始，您可以使用preg_match()收集您需要的URL并将它们存储在一个数组中。或者，您可以尝试一个更清洁的方法XML parser。

请注意，您可以修改start = 0来返回其他结果。

来源

2011-02-11 23:41:18 claviska

您可以从谷歌搜索返回的XML数据：

退房http://www.google.com/cse/docs/resultsxml.html#XML_Results_for_Regular_and_Advanced_Search_Queries

来源

2011-02-11 23:35:11

它表示对num的限制是20.我必须编写一个程序来解析XML然后循环。没有现有的程序来做到这一点？ – babonk 2011-02-12 00:09:39

从Google搜索中获取网址和标题

回答

相关问题