robots.txt

1热度

2回答

我在网站上有一个页面，并且无法访问我的页面以外的任何其他页面。该网站用于销售各种小型产品。经过一年多的时间，并使用谷歌AdWords来帮助推广自己，我注意到没有任何产品的网页在谷歌上被索引。当我注意到该网站的robots.txt并没有包含太多的内容，并且想知道这是否与它有关。产品网址，格式如下： www.example.com/myshopname/[product ID]?q=I[produ

0热度

1回答

NGINX多个server_name，但每个server_name都有robots.txt文件？

我必须创建一个server_name作为我的CDN的原始位置的侦听器。的CDN希望从origin.mydomain.com拉我已经有行代码100S下www.mydomain.com，展示全部重写，规则和这样的，我需要使用这一切再次编码。我简单的解决办法是有服务器名www.mydomain.com origin.mydomain.com 轻松拥有NGINX监听请求到“原点”的子域。我的恐惧

-1热度

1回答

robots.txt没有对Opencart的网站

访问。

2热度

1回答

工具正在robots.txt中查找未知代码

最近，我在我的网站的根目录中上传了一个robots.txt文件。我在robots.txt文件中写的东西是 - User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /download/ Disallow: /wp-content/plugins/ Disallow: /wp-content/themes

1热度

1回答

网站尽管适当的robots.txt配置

的出现在谷歌搜索结果页面我有一个ExpressJS Web应用程序，一个用于内部用途，我不希望谷歌索引。因此，我已实现了以下路线： app.get('/robots.txt', function(req,res) { res.set('Content-Type', 'text/plain'); res.send('User-agent: *\nDisallow: /'); }

0热度

1回答

如何在Google App Engine（PHP）上拥有robots.txt的开发和生产版本？

我有一个网站/应用程序，可以在标准的网络托管环境和Google App Engine上运行。所以我在Cloud9上开发，将测试版本（通过GitHub）部署到appspot.com网址，最终到与自定义域相关联的GAE项目。我希望Web开发人员能够完全禁止开发人员在生产站点上指定访问权限。但我不想管理一个robot.txt文件的不同版本。我开发的内容作为下面的答案发布。也许这对其他人会有所帮助，或

0热度

1回答

如何路由到robots.txt？

我被各种来源告知http://www.anthonygalli.com/robots.txt不存在。我有一个文件中的公共/ robots.txt的 User-agent: * Allow:/ Sitemap: http://www.anthonygalli.com/sitemap.xml.gz 我怎样才能让航线工作，使错误消失和谷歌可以正常抓取网站？

0热度

1回答

如何避免谷歌索引我的网站正在开发中完成

我有一个新的网站和一个新的域名，将需要约2个月的时间才能完成开发，然后才能正常运行。只有这样我才能让Google开始抓取我的网站并为其编制索引。所以问题是如何在关闭前2个月“关闭”谷歌索引？现在我打算使用这个index.html的： <html> <meta name="googlebot" content="noindex"> UNDER CONSTRUCTION </html>

0热度

1回答

如何在--no-brunch Phoenix API专用应用程序中服务robots.txt

我有一个仅使用了Phoenix JSON API的应用程序，它使用--no-brunch创建，并且不提供任何静态内容。我看到来自漫游器的错误，它尝试抓取我的robots.txt（这不存在），并呈现500.json-api视图，当Phoenix.Template.HTML.encode_to_iodata!尝试对JSON进行编码时导致异常。有没有更好的方式来服务robots.txt而不做静态资产

1热度

2回答

robots.txt没有通过node.js显示路由发送纯文本

这让我疯狂......我在路由器定义中添加了一个路由来提供纯文本robots.txt文件。我不认为我在/robots.txt路由之前有一个catchall，因为到/ mobile和/ map的其他路由按预期工作。在我的本地机器上，/robots.txt工作正常。只有在部署到服务器时，这条路线才能工作。 router.get('/', function (req, res) { res.r