Web开发人员是否允许刮取html内容？

我想刮几个网站的html内容，并在我的网站上查看他们的混搭。我会参考并链接到他们aswelll！Web开发人员是否允许刮取html内容？

谢谢

来源

2012-03-31 MidnightCoder

继续操作，然后检查它们的robots.txt文件，并确保有一种方法可以让他们在出现问题时与您联系。大多数人会很乐意从你的混搭中获得流量。无论如何，他们的负担是要求你不要。

来源

2012-04-01 04:33:22 pguardiario

，则不应视为“客气”，但它仍然是常做。有些网站采取反措施来应对此类活动，但总的来说，您可以做到这一点，而不会产生任何影响。

如果你想以正确的方式做到这一点，你只需询问网站运营商。对于你所知道的，他们会没事的，或者他们甚至可能有一套你可以使用的API。

但是，如果您未经允许就进行欺诈，如果您的网站受到欢迎并且原始网站发现了您正在做的事情，他们可以向您发送停止和停止信件和/或采取其他法律措施觉得你侵犯了任何受版权保护的材料。

http://en.wikipedia.org/wiki/Web_scraping

来源

2012-03-31 22:08:56 msigman

如果你超载他们的服务器或不尊重他们的robots.txt是唯一不礼貌的 - 他们的责任是告诉你不要刮掉他们的内容，而不是要求你提问。 – pguardiario 2012-04-01 02:58:57

我不一定同意......对我来说，这听起来像是你说如果有人不锁门，走进他们的房子是可以的，因为负担是锁在门上 - 如果他们不这样做，他们会暗示批准进入。作为很多网站的网站管理员，我当然不希望任何人为了在他们自己的网站上重新发布目的而刮掉我的内容。 – msigman 2012-04-01 03:03:11

真的吗？您不希望Google为了列出您的内容并显示您的内容摘录而抓取您的内容？如果确实如此，则可以在robots.txt中禁用它们。否则是通过让公共网站给予每个人隐含权限访问您的网站。 – pguardiario 2012-04-01 04:21:29

这通常不是天经地义的事。如果这些网站的作者想要提供他们的数据，他们可能会通过API或某种类型的Feed提供。

最好的办法是直接询问他们。他们甚至可能会为你提供一个比拼凑更好的方法。

来源

2012-03-31 22:11:06

Web开发人员是否允许刮取html内容？

回答

相关问题