在应用商店抓取数据

有谁知道AppShopper.com如何抓取苹果应用商店的数据？我们是否需要使用像Watir这样的自动化测试来模拟浏览器？这是收集数据的唯一方式（例如，下载统计数据，价格）？在应用商店抓取数据

2011-01-19 Nimit Pattanasri

如果您右键单击iTunes中的任何链接或图标，它会为您提供它用于下载显示的下一个iTunes页面的数据的URL。 HTML数据的格式会以非文档方式定期更改。如果您使用wget或curl从这些网址下载数据，您可能还需要模仿iTunes用户代理和国家商店前台名称，您可以通过使用诸如电话鲨鱼之类的方式监控iTunes流量来获得该名称。

来源

2011-01-19 05:17:17 hotpaw2

有数百个像你提到的一个服务的......但是建立自己的刮板不难..

比方说，你想看到在英国所有评论为ID的应用程序= XXXXXXXXX（右键单击应用程序链接上的iTunes并选择“复制链接”）。你应该检索文件：

http://itunes.apple.com/WebObjects/MZStore.woa/wa/customerReviews?s=143444&id=xxxxxxxxx&displayable-kind=11

如果你把你的浏览器这个URL，你将无法看到相同的信息量，你会与iTunes看到。也可能是因为您根本看不到任何东西，您的浏览器会要求打开iTunes。尽管如此，上面的网址与iTunes访问的网址一样 - 只是iTunes要求网页浏览器做的稍微不同。为此，您可以使用cURL，这是大多数GNU/Linux发行版默认使用的命令，但您也可以在Windows上安装。

如果您使用的是Windows，并且没有安装卷曲，下载（http://curl.haxx.se/download.html），将它解压缩，并添加bin目录到PATH变量（http://www.computerhope.com/issues/ch000549.htm）;
打开终端窗口（META + R，数字CMD）;

一旦你安装了袅袅，都在Windows和* nix，切割和在终端粘贴：

卷曲-H '主机：itunes.apple.com' -H“的Accept-Language： en-us，en; q = 0.50'-H'X-Apple-Store-Front：143444,5' -H'X-Apple-Tz：3600'-U'iTunes/9.2.1（Macintosh; Intel Mac OS X 10.5.8）AppleWebKit/533.16''http://itunes.apple.com/WebObjects/MZStore.woa/wa/customerReviews?s=143444&id=xxxxxxxxx&displayable-kind=11'

您应该看到现在由iTunes看到的实际XML文件以及所有评论。

来源

2011-02-08 11:12:42

如何找到iTunes支持的其他URL？ – Dmitry 2017-03-06 23:46:05

爬行不是最好的方法。有一个partner feed program，这是完全免费加入。可以给你所需的数据。阅读FAQ

来源

2012-11-06 12:49:07

+1这很有趣！ – 2012-11-06 16:10:02

在应用商店抓取数据

回答

相关问题