googlebot

0热度

2回答

我有WordPress站点和一个iframe，其中src为“http://my-website.com/www.downloadedwebsite.com/index.html”里面。我不得不下载iframed网站，因为我正在修改其中的一些内容，并且需要同源。没有反向链接到这个URL - 只是单个iframe src'ing，但是，我看到谷歌索引它（坏！）。我如何阻止索引或之后任何在里面“htt

0热度

1回答

防止googlebot在同一个主机帐户上索引其他域名

我有一个托管帐户，用于托管3个网站。所有3个网站是互相独立的。主机帐户与主域名.lets联系www.maindomain.com，本网站的文件位于主机的根目录。另外两个域www.domainA.com和www.domainB.com分别链接到子文件夹domainA和domainB。谷歌显示www.maindomain.com/domainA和www.maindomain.com/domai

0热度

1回答

Googlebot 404在网站更改后抓取错误

我有一个旧的asp.net网站（aspx），并使用SSL重新设计了它与asp.net MVC。无论如何，在我推广新网站后，我看到了很多错误，这些错误是由机器人寻找旧页面产生的;错误看起来像这样：路径'/blablabla/moreBlalbalba/page.aspx'的控制器没有找到或没有实现IController。所以，我更新了错误处理以返回301响应并重定向到主页并添加了站点地图。谷歌404

1热度

1回答

正确nginx的配置，以防止某些文件夹

我试图阻止的内容索引中的某些文件夹与x-robots tag和Nginx使用以下配置的索引： location ~ .*/(?:archive|filter|topic)/.* { add_header X-Robots-Tag "noindex, follow"; } 内容保持索引，我不能调试Nginx配置。我的问题：我使用的配置是否正确，我应该等到googlebot重新抓取内容并取

11热度

2回答

Angular2应用程序：抓取谷歌不会加载页面内容

我工作的基础Angular2 web应用程序。我使用Angular CLI生成应用程序，然后构建应用程序。我已在AWS S3 & Cloudfront上托管网站。当我使用网站管理员的“Google抓取方式”工具时，它仅显示Loading...。是不是能的Googlebot抓取我的网站？

0热度

1回答

如何制作一个js脚本从未执行谷歌机器人

我有一个小脚本，其中的工作是动态地改变网页标题中的一些字母。（这是为图形目的完成的，这些字母设置为“图标”字体，这是非常不错的^^）。问题是，Google使用修改过的字母对页面进行索引，并且我的内容充满了带有错误字母的单词即ie。 HELLO WFRLD 有什么办法让一个js脚本不能被谷歌机器人执行吗？我在想这样的事情; if(!window.googlebot && navigator.u

0热度

1回答

谷歌搜索结果显示奇怪的日期

我工作的网站，并在该网站我显示搜索结果中的奇怪日期。我搜索了很多。显示我的日期与页面发布日期，上次更新日期或索引日期不符。链接页面：http://www.bariatric-surgery-source.com/gastric-sleeve-surgery.html 搜索关键词是：胃套下面是谷歌搜索的屏幕截图：网页最后更新日期为：2017年5月30日页面发布日期为：2016年11月29日

0热度

1回答

universal.angular.io vs prerender.io从googlebot的角度来看

我有一个Angular 1.4.x和prerender.io网站的设置，它将呈现的静态缓存页面提供给googlebot。 Googlebot每次抓取每页两次。一个抓取命中URL，第二个抓取正在追加？_escaped_fragment_到url以从prerender.io获取缓存静态页面我在考虑转移到universal.angular.io，它将呈现服务器端的页面。两者之间有什么不同的方法？un

-1热度

1回答

如何在不验证Javascript代码的情况下向Googlebot提交网址代码

有没有在Google上注册网址的方法或API？例如，在项目中创建页面时，其地址将自动提交至Googlebot。

-1热度

1回答

使用robots.txt阻止搜索引擎的url 100s

我在我的网站上有大约100页的内容，我不想在google中被索引...有什么方法可以用robots.txt来阻止它。 .It'd很烦人编辑每个页面，添加noindex元标记.... 所有这一切我想阻止是这样的URL ... www.example.com/index-01 html的 www.example.com/index-02.html www.example.com/index-03.ht