如何以及将robots.txt文件添加到ASP.net Web应用程序的位置？

Question

我在C＃中使用ASP.net。

为了提高我在Google中的网站的可搜索性，我搜索了&，发现我可以通过使用我的robots.txt来做到这一点，但我真的不知道如何创建它，我可以在哪里放置我的标签像ASP.net，C#在我的txt文件中。

此外，请让我知道必要的步骤，将其包含在我的应用程序中。

Answer 1

robots.txt的是，设置一定的规则对搜索机器人的根文件夹中的文本文件，主要的文件夹来访问，什么不是。你可以阅读更多关于它在这里：http://www.robotstxt.org/robotstxt.html

Answer 2

robots.txt文件位于您网站的根目录，用于控制允许搜索蜘蛛的位置，例如，您可能不希望它们位于/js文件夹中。像往常一样，维基百科有一个伟大的write up

我想你可能会发现SiteMaps更加有用，虽然。这是您制作的代表您网站内容的XML文件。然后，您将其推送到主要搜索引擎。虽然谷歌开始所有的主要搜索引擎现在已经同意遵循标准模式。

提高您的Google分数和一般搜索引擎优化并不是我所知道的。这听起来像是一个黑色的艺术:)虽然，看看IIS SEO Toolkit，它可能会提供一些指针。

Answer 3

大多数搜索引擎将索引你的网站除非一个robots.txt告诉它不要。换句话说，robots.txt通常用于从您的网站排除机器人的。