google-crawlers

0热度

1回答

我要求我的客户的开发人员修复出现在抓取错误报告中的500个错误，但他不想解决这个问题直到我们找到确定这些URL来自何处的根问题。被检测到的URL似乎来自该网站的一个更老的版本（并且可能来自他们已经设置的其他一些域名，这些域名实际上是具有不同域名的网站的重复，重定向）。他的问题是：为什么GSC目前检测这些URL，并且它在哪儿发现他们（绝大多数的这些链接是从服务于一个500错误其它页面内的链接

0热度

2回答

如何辨别谷歌本文是否为另一篇文章的一部分

在我网站的每篇文章中都有其他文章的预览。他们是随机预览。问题是预览真的很大：有标题，小标题和6行文字。有时谷歌认为他们是我文章的一部分。有什么办法可以告诉谷歌这个div包含来自另一篇文章的文本吗？预览例如：

1热度

1回答

谷歌没有按预期抓取SPA

我使用prerender.io，它与其他抓取工具（如Facebook）完美协作。但是，当我要求谷歌提取和呈现我的网站管理员工具的链接，它似乎不正确，即使它呈现正确。为了澄清，在网页渲染标签的图像预览是正确的，但撷取选项卡上的代码仍然没有呈现像这样： <meta property="og:title" content="{{head.name}}" /> <meta property="og:

-1热度

1回答

Angular.js Google抓取

我在我的网站中使用了角。在特定部分不是整个网站。谷歌索引角度有问题。所以我使用非角度部分为谷歌。但如果普通用户去我的网站去角部分。（我的意思是我检查后，如果（谷歌或用户），我去非角度或角度）。这是对的？或谷歌可能会将我的网站添加到黑名单？

-1热度

1回答

谷歌网站管理员工具和XML发电机权利要求页不可达

我最近做了一些改变，以我的网站，并希望使用谷歌网站管理员工具&更新使用任何站点地图生成器我可以在网上找到的网站地图，检查一切。但是在站点地图生成器无法连接到我的网站和谷歌宣称的页面是可达我想删除我最近添加的.htaccess文件，但它并没有帮助这是我的。 htaccess文件，这对我来说很好。我可以从清除缓存等所有浏览器都达到我的网页... RewriteEngine On RewriteC

-1热度

1回答

谷歌如何更新他们的搜索索引

如果我问一个关于这个问题，我很快就可以在Google上搜索我的问题标题并获得我的问题链接作为第一个结果。此问题链接必须已被他们的机器人抓取。他们如何快速更新搜索索引？

0热度

1回答

基于查询字符串值自定义元信息

我的网站销售的东西，我想定制页面标题和元数据描述在某些页面，当某些项目被查看。我希望这些自定义标题和描述在其他网站上共享时列出。例如：Twitter，FB等... 基本上我想根据查询字符串值自定义标题和描述。这怎么可能？我在github上看过一个基于js的插件或类似的东西，但没有运气。

-1热度

1回答

从Google抓取链接

我试图抓取相关领域的链接，即计算机科学，但在获取一些非常奇怪的输出链接的方式中。即使当我尝试在网页浏览器中打开这些链接时，它也显示未找到页面。下面是代码： from bs4 import BeautifulSoup import requests a = input("search:") page = requests.get("https://www.google.dz/search?

-1热度

1回答

网站迁移+重新设计= 20k 404错误链接和糟糕的搜索引擎优化

我最近将我的网站从一个主机移动到另一个主机，Joomla内容被WordPress网站取代。但现在谷歌搜索控制台告诉我，所有以前的Joomla网站链接都失踪了，这相当于20K以上的抓取错误，并且我失去了所有的搜索引擎优化（网站从第一个结果中消失了）。我该怎么办？我一直在寻找遍布互联网，但我不能创建一个重定向每一个缺失的链接，有没有一种简单的方法来解决这个问题？谢谢。

1热度

2回答

Robots.txt和元数据标签是否足以阻止搜索引擎索引依赖于$ _GET变量的动态页面？

我创建一个PHP页面，只有通过令牌进行访问/通过$ _GET 因此通收到，如果你去到以下网址，你会得到一个通用或空白页 http://fakepage11.com/secret_page.php 不过，如果你使用的令牌的链接它会显示特殊内容 http://fakepage11.com/secret_page.php?token=344ee833bde0d8fa008de206606769e4 当然