是否可以从其他公司的数据库获取数据？

Question

我想知道这么多的工作网站有这么多的工作机会/其他公司提供的信息。例如，如果我要开始自己的工作搜索引擎，我将如何能够获得像我的网站一样的网站在我自己的数据库中的信息？一个网站（jobmaps.us）表示，它的确“确实为动力”，并且似乎遵循与Indeed.com相同的格式（就像所有其他搜索网站一样）。有什么可以使用的通用求职模板吗？

在此先感谢。

Answer 1

一些服务提供了一个API，允许您“联合”搜索（将它们转发到多个数据源，然后将所有结果集中在一起以便在一个地方显示）。或者，一些提供了一种机制，可以让你下载/检索数据，所以你可以加载到你自己的搜索索引。

后一种方法通常更快，并且可以完全控制，但需要您维护搜索索引并跟踪远程系统上数据项更新/添加/删除的情况。这并不总是微不足道的。

在任何一种情况下，一些API将是开放/免费的，有些将需要注册和/或许可证。大多数会有费率限制。这完全取决于谁拥有数据。

可以模拟浏览网站，发送HTTP请求和分析来自Web服务器的响应的用户。通过了解HTML的结构，可以提取（“刮擦”）所需的信息。

这种方法通常违反网站政策，很可能会阻止您。如果您确实采用这种方法，请确保遵守任何政策以避免被列入黑名单。