2010-08-03 36 views
3

我只是想知道是否有人可以向我解释价格比较网站的工作原理?我的意思是,如果它起作用,我认为它的确如此(下面解释),那么我有一个非常好的项目可以为自己工作,这应该可以长期赚取很多钱。价格比较网站 - 它们是如何工作的?

所以我认为它的工作原理是每个供应商都提供一个比较网站连接到的RSS源。每种产品都有其自己的唯一代码(由制造商提供),并以RSS提要中的标准代码提供。比较网站收集有关谁供应哪种产品并比较供应特定产品的数据的数据。例如,图书出版商可能会在每本书的背面,ISBN,出版商名称,作者,标题(显然),RRP,流派,事实/小说以及其他一些有用的信息中提供RSS源,国际标准书号</ISBN >。销售书籍的比较网站可以按流派,作者等过滤这些书籍,并使用xsl样式表(RSS提供的XML格式)显示他们想要的样子。

这是正确的,还是我对RSS是什么或它是如何工作的完全错误的想法?还有什么其他方式可以实现同样的目标?

非常感谢提前。

问候,

理查德

PS如果这是张冠李戴,应被移动到另一个部分,那么请会有人重新标记它。我试图找到价格比较网站或类似的东西,但没有这样的标签。我把我能想到的最相关的东西放在一边。

+0

看起来[国际标准书号]没有出来正确..我正在努力修复现在.. 编辑:固定 – ClarkeyBoy 2010-08-03 15:37:59

回答

10

你的理念似乎更像是理想的世界形势。实际上,该网站使用了与其他任何搜索引擎一样的抓取工具。该网站只是优化爬虫,以刮去价格和产品信息。例如,他们知道戴尔网站上某件商品的价格位于ID为“foo”的div中,产品信息位于文本“立即购买”后的第3个标签中。

他们更可能限制他们爬到已知零售商的网站。

+0

当然,它的很多工作,在你描述的方式,以保持眼睛在网站上进行布局更改(例如,如果“foo”已更改为“bar”)。我正在考虑启动我自己的网站,该网站利用来自制造商和供应商的饲料(为了保密的目的,我不会说这些,但基本上允许观众根据供应商的数据选择产品,然后给他们一个选择零售商购买)。这不会是一年左右,但。理查德 – ClarkeyBoy 2010-08-03 15:48:33

+1

是的,这是很多的工作......但它不需要与被抓取的网站的合作 – Quentin 2010-08-03 15:52:30

+0

这是一个很大的工作,价格比较网站的质量取决于他们的抓取引擎有多好。 – speshak 2010-08-03 15:54:37

5

正如speshak所说,他们通常使用爬虫并解析HTML。

店铺网站不提供RSS源的原因,是因为他们讨厌比较网站。它严格把重点放在价格上。如果有20家商店受到监控,这意味着商店有19%的机会不是最低的。商店宁愿你直接访问他们的网站,他们有机会说服你根据服务支付价格。

+0

嗯可能是最好的坚持饲料的制造商(谁不会卖零售,并有兴趣让他们的产品在那里)然后冲刷零售商网站的价格..感谢您的意见。 – ClarkeyBoy 2010-08-03 15:54:03

0

我不认为网站爬虫是最好的选择,我也不认为这是真正合法的,至少在西班牙。如果不允许,您不能使用其他人的产品品牌

0

价格比较网站通过后端数据抓取动态抓取各种网上购物门户网站的结果,并向客户提供最佳交易,然后直接重定向到提供最便宜的交易的购物门户并完成购买。他们采用快速查询处理技术,为消费者带来快速搜索结果,并提供轻松导航,使客户能够在单一平台上浏览最流行的品牌,最受欢迎的产品和最畅销的产品。他们在LAMP平台上使用开源技术,即PHP/MySql来完成实时比较的任务。

+0

什么是问题,请提供一些你已经工作的代码块。 – 2013-12-19 11:19:05

0

逻辑可以从网站到网站有所不同。我们抓取主要的在线食品交付网站来获取菜单详情。并非所有的网站都公开API,因此网站爬行是唯一的方法。 我们目前正在使用Jsoup库(用于Java平台)来提取这些网站的HTML。