robots.txt

0热度

1回答

早安，每一个我有我的WordPress网站，最初我有购买SSL证书，并使用HTTPS版本的谷歌搜索结果中显示。但由于HTTPS我看到了我的流量减少，所以为了增加我的流量有一个问题，我再次刨显示在谷歌搜索结果中的HTTP版本，使用下面的代码 RewriteOptions inherit RewriteEngine On RewriteCond %{HTTPS} on RewriteRul

0热度

1回答

robots.txt的具体排除

目前我robots.txt在以下 #Sitemaps Sitemap: http://www.baopals.com.com/sitemap.xml #Disallow select URLs User-agent: * Disallow: /admin/ Disallow: /products/ 我的产品有很多重复的内容，我拉过来的数据从taobao.com和自动翻译它造成了大量

0热度

2回答

我有sitemap.xml，但许多SEO审计网站说，我没有...什么是修复？

我已经geenrated sitemap.xml，我已经安装在我的网站公共文件夹，所以我的网站www.example.com/sitemap.xml工作。不过，我已经用了几个SEO审计工具，如Woorank和搜索引擎优化电源套件，他们都说sitemap.xml的没找到，连我都在robots.txt文件 Sitemap: http://www.example.com/sitemap.xml Use

0热度

1回答

（Node/Express）快速站点地图生成不正确的站点地图

我正在尝试使用快速站点地图中间件为我的网站生成站点地图。我的代码如下： var sitemap = require('express-sitemap')(); //... app.get('/', function(req, res) { res.render('index') }) //... posts = [ post2 = { "url":

1热度

2回答

In robots.txt ... 我想允许目录的索引或主页。 /landing/ 我不想让目录内的任何其他页面。 /landing/page /landing/anypage 这怎么办？

0热度

1回答

为什么RobotParser会阻止这个结果？

我一直在使用Python的robotparser一段时间，它的工作正常。今天早上我碰到一个网站跑了一个非常宽松的期待的robots.txt文件： User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php 然而，出于某种原因，解析器认为所有URL将被阻止。 import robotparser rp = robot

1热度

1回答

仅包含'User-agent：*'的robots.txt的含义是什么？

我想抓取一个网站，但对robots.txt刚刚以下行： User-agent: * 这是否意味着，如果我抓取他们的网站也就没有在意？

0热度

1回答

如何在索引到谷歌时阻止一个URL？

我有一个开发服务器，我有100个网站（文件夹）放置但我指向每个文件夹与另一个域，但我仍然可以访问该文件夹使用服务器IP或域的权利？如何停止索引由服务器的ip或域打开的url？如：服务器是：myserver.com 网站（文件夹）：mywebsite 我可以访问此像myserver.com/mywebsite 我呼吁其他域newwebsite.com和指着mywebsite文件夹这是目前在mys

0热度

1回答

的robots.txt和元机器人之间的互动标签

这里还有其他的问题，对SO有关，如果你有两元的机器人，我想我明白发生了什么事，直到我碰到这个答案在谷歌网站管理员现场来了会发生什么：https://support.google.com/webmasters/answer/93710 以下是它的意思：重要！为了使noindex元标记有效，该页面不得被robots.txt文件阻止。如果页面是由 robots.txt文件封锁，检索器将永远不会看到n

0热度

2回答

为什么Google robots.txt测试仪有错误，无效

正如你可以在下面看到的图片Google WebMaster工具 robots.txt测试仪告诉我有关9错误，但我不知道如何解决它，什么是问题？请帮我找出