robots.txt

1热度

1回答

我已成立这样 User-agent: * Disallow: /* 对于一个网站，是基于所有唯一网址robots.txt文件。当你保存一个新的小提琴时，它会给它一个唯一的URL，类似于https://jsfiddle.net/。我希望我的所有唯一网址对Google不可见。没有索引。谷歌已经索引的所有我的唯一URL，即使它说：“此结果的描述是因为网站的robots.txt文件不可用 - 了解

0热度

1回答

禁止特定的文件夹中使用通配符的robots.txt

我可以隐藏抓取特定的文件夹中包含通配符： User-agent: * Disallow: /system/ Disallow: /v* 我想隐藏的所有文件夹开始以“V”字。它会以这种方式工作？

0热度

1回答

在我的测试（非生产）网站上排除Django的urls.py中的某些URL

我在Heroku上运行我们的生产和测试网站。我有一个robots.txt和站点地图，我只想在生产环境中运行（这样Google就不会开始抓取我们的测试站点，并在真实网站上处理重复内容）。最简单的解决方案就像在测试站点上添加if语句到urls.py以不包含/robots.txt和/sitemap.xml一样。但是，我无法弄清楚如何做到这一点。我可以在我的测试网站上添加一个不同的robots.txt

2热度

1回答

如何允许在robots.txt JS和CSS文件和图像，如果我有禁止父文件夹

在从谷歌手机浏览的网站（https://www.google.com/webmasters/tools/mobile-friendly/）的测试工具，它说，我的网站没有针对移动设备进行了优化，但它是。原因是因为Robots.txt阻塞了很多资源。我的网站基于joomla 1.5，但它有一个响应式模板。这是我的robots.txt文件，但它似乎是JS，CSS和图像仍然受阻。 User-agent:

0热度

1回答

将robots.txt重定向到一个php页面

我有一个系统可以在一个文件结构下处理多个域，每个域需要不同的sitemap和robots.txt。对于站点地图我已经设置了一个重定向，我知道它很好用。我想确认robots.txt可以做到这一点吗？我在.htaccess中添加了一个重写规则，将人员重定向到一个php页面。在这个PHP页面上，我找到了用户的域名，并用文本标题打印出正确的信息。这是允许的吗？额外的信息：我所使用的DOMAINA

0热度

1回答

如何有效防止僵尸程序请求或至少防止它们堵塞我的日志？

我以为我就要由机器人引起的有错误：索引我以前的网站相同的域下;和正在探索某种类型的漏洞。这里有一些错误：代码：404;类型：Http;错误：A public action method 'IPC$' was not found on controller ... 代码：0;类型：InvalidOperation;错误：The requested resource can only be a

1热度

2回答

/*.php$在robots.txt中的含义是什么？</p> <pre><code>User-agent: * Disallow: /*.php$ </code></pre> <p>那么它有什么作用：

我碰到一个使用以下在robots.txt文件站点来的？它会阻止网页抓取工具抓取以下网址吗？ https://example.com/index.php https://example.com/index.php?page=Events&action=Upcoming 它是否也会阻止子域名？ https://subdomain.example.com/index.php

2热度

2回答

如何为不同的构建配置部署不同版本的文件？

特别是，我想为不同的构建配置部署不同的robots.txt文件。我们有一个在网络上公开的登台环境，但我们不允许robots.txt文件中的所有内容用于该环境，因此它不会被索引并与我们的生产站点竞争。目前，我们只是在每次部署时手动将生产中的robots.txt文件的早期版本复制到新文件夹中。有没有办法将两个版本都放到项目中，并根据构建配置来部署特定的版本？还是有更正确的方法来处理这个问题？

1热度

2回答

我无法在服务器中找到robots.txt文件，但它在url中显示

我是全新的。这听起来可能对你们来说很愚蠢，但我坚持不懈。在网站上我得到一个robots.txt文件。但是当我查看服务器时，没有robots.txt文件。但它可以用URL访问：goodearthtermiteandpest.com/robots.txt 请你帮我为什么发生这种情况并在这个文件实际上是。感谢

0热度

1回答

如何编辑prestashop中的默认robots.txt文件

我发现prestashop自动生成的robots.txt中的某行阻止了Google购物中的产品。这行是 Disallow: /*n= 匹配的网址已经谷歌分析使用的一些UTM跟踪参数。匹配robots.txt中的线例如URL： domain.com/page.html?utm_source=google & utm_medium = CPC & utm_campaign =购物相匹配的部分是