googlebot

2热度

1回答

我是一个初学者的Web开发人员，我有一个网站JammuLinks.com，它建立在PHP。这是一个城市本地上市搜索引擎。基本上我已经写了搜索页面，它接受一个参数，从数据库中获取记录并显示它。所以它动态地生成内容。但是，如果你看看网站的底部，我已经添加了很多静态链接，我已经在链接中编写了参数，如searchresult.php？tablename ='schools'。所以我的问题是由于谷歌爬网的

8热度

4回答

Googlebots忽略robots.txt？

我有根以下的robots.txt网站： User-agent: * Disabled:/ User-agent: Googlebot Disabled:/ User-agent: Googlebot-Image Disallow:/ 与本网站内的页面都过得去的Googlebot整天扫描。我的文件或Google有问题吗？

18热度

5回答

如何设置一个只允许网站默认页面的robot.txt

假设我有一个网站http://example.com。我真的想让机器人看到主页，但任何其他页面都需要封锁，因为它对蜘蛛毫无意义。换句话说 http://example.com & http://example.com/应该被允许，但 http://example.com/anything和http://example.com/someendpoint.aspx应该被阻止。而且这将是巨大的，如果我

7热度

2回答

为什么Google（或Googlebot）索引返回500错误的页面？

Googlebot偶尔会使用错误的查询字符串参数为我们的某个网站编制索引。我不知道它是如何得到这个查询字符串参数（没有任何网站链接到我们的坏链接，并没有在我们的网站插入坏值）。正如我们所期望的那样，这个坏的参数会导致网站抛出500错误。我的印象是，谷歌不会索引页返回500错误，但事实证明，这是。所以现在我有两个问题： 1）为什么Googlebot会插入随机错误的查询字符串值？（我真的不关心这个

2热度

3回答

有人如何从Google Cache下载网站？

一位朋友意外删除了他的论坛数据库。这通常不是一个大问题，除了他忽视执行备份的事实。 2年的内容简直没有了。显然，他吸取了教训。不过，好消息是Google会保留备份，即使个别网站所有者都是白痴。坏消息是，传统的抓取机器人会在Google缓存版本的网站上窒息。是否有任何东西可以帮助拖拉Google Cache，或者我将如何去滚动我自己的？

0热度

3回答

谷歌爬虫时间限制

没有人知道它有可能设置的任何财产，以告知Googlebot的，只是来和在特定日期或时间段抓取网站（例如，仅在周末期间）？感谢，

3热度

2回答

如何让Flex RIA内容可以被谷歌等搜索引擎访问？

您如何让Google RIA应用程序的内容可以访问，以便Google能够索引内容并显示指向Flex RIA中正确项目的链接。考虑一个在Flex中创建的在线商店，所提供的商品应由Google编制索引。然后Google上的链接应打开RIA中的相应产品。

0热度

5回答

Google何时重新抓取网站？

Google何时重新抓取网站？为什么Google在Cache中拥有同一页面的两个版本？ http://forum.portal.edu.ro/index.php?showtopic=112733 高速缓存页是：forum.portal.edu.ro/index.php?showtopic=112733 & ST = 25/ forum.portal.edu.ro/index.php?showto

5热度

2回答

为什么googlebot使用我的网站的搜索引擎？

不时浏览我的搜索日志，我发现到目前为止，我的搜索引擎的最大用户是谷歌机器人。是什么赋予了？它是否在寻找可能无法通过导航直接访问的内容？如果是这样，它如何知道要查找哪些单词和短语（它们令人惊讶地相关）。它是否检查网站上最流行的关键字？我知道我似乎在回答我自己的问题，但这只是从第一原则出发。我想听听有人知道他们在说什么（即不是我）。