制作个人资料搜索引擎 - 可搜索？

Question

在社交网络上，对于用户个人资料，如果帐户所有者将个人资料隐私设置给所有人，我们如何制作个人资料搜索引擎？是否像在页面中添加机器人标签一样简单？那么，如果用户更改隐私而无法搜索到，我们会删除标签？我需要在我的网站上实现此功能，但我不确定从哪里开始此事件？

Answer 1

每个配置文件都需要一个唯一的url。这可以通过不同的方式完成（比如mod重写，ASP.NET路由：http://msdn.microsoft.com/en-us/library/cc668201.aspx等）。如果该页面不应该被显示/不公开，当搜索引擎尝试查看它时，将重定向到一个页面，该页面表示该配置文件不可公开查看。

Answer 2

当然你想要解决的一件事是Robots exclusion protocol（又名robots.txt），它指定了搜索引擎爬虫应该忽略哪些路径;你应该能够更新这个每个用户的喜好，以禁止未来的抓取。

您可能还会看看Google的Sitemaps功能;这允许您向Google推荐 - 即使是那些页数变化很大的列表 - Google应该抓取哪些网址（在您的情况下是用户配置文件的网址）。正如他们指出的那样，这并不能保证每个网址都会被抓取，但它应该有所帮助。

什么我没有答案，我很想知道更多有关协议的一些协议，要求搜索引擎移除已经抓取的网址。据我所知，从robots.txt和sitemap.xml中删除一个页面并不会立即让Google从其索引中删除该页面，但只会在搜索引擎判定它已过期时才会被慢慢修剪。另一方面，您的用户可能希望他们的网页在检查到特定偏好时不能被搜索到。您可能需要向用户介绍这种区别，但我也很好奇它们是否是程序化的方式来处理此问题。 （例如，我相信Twitter有办法要求Google停止在搜索结果中删除后返回推文。）