我一直认为AJAX驱动的内容对搜索引擎是不可见的。AJAX网站是否可以被搜索引擎抓取？
http://www.trustedsource.org/query/terra.cl
...如果：
例如，在这个网站中，主内容经由AJAX请求由浏览器加载的（即插入到通过XMLHttpRequest的DOM含量）您查看本页面的网址为Javascript disabled，主要内容区域为空白。
但是，谷歌的缓存显示了AJAX负荷后的全部内容：
所以，很显然，搜索引擎做的AJAX加载的内容编制索引。
问题：
从谷歌，AJAX网站按照这份指南可以进行抓取：
http://code.google.com/intl/sv-SE/web/ajaxcrawling/docs/getting-started.html
AJAX驱动不被搜索引擎抓取（或者至少不是谷歌）。
你可以在谷歌缓存中看到页面的原因是因为在缓存中有整个页面，包括.js文件。所以当你看到这个页面时，你的浏览器使用google缓存的.js文件。
我认为除了使用静态的.html之外，没有任何技巧可以让它通过搜索引擎进行爬取。
编辑在四月27日2010：谷歌发布了一种make AJAX crawlable
Google webmaster toolkit可能的帮助。
我不认为这是真的。如果我查看JavaScript禁用的Google缓存链接，我仍然会看到AJAX驱动的内容。 如果我查看源代码，该内容就在html中。 – frankadelic 2009-07-23 17:28:27
搜索引擎可以运行索引Ajax内容所需的JavaScript，但这将是困难的和计算上的昂贵—我不知道有任何实际的操作。
写得很好的网站，如果使用Ajax，根据progressive enhancement的原则使用它。任何关键功能仍然可用，无需运行JavaScript。
另一方面，使用JavaScript重新创建框架（并且不使用渐进式增强功能）的网站将面临框架的所有常见问题，但会遇到搜索引擎不可见的交易孤立页面。
适合渐进式增强。 – 2009-07-23 06:42:16
我有NoScript安装和活动。这两个链接显示相同的内容（+/-谷歌标题栏）。因此，Google缓存仅显示静态内容。
如果您使用的是类似jQuery选项卡的内容，即使您链接到同一目录中的HTML文件，也会在没有JavaScript的情况下很好地退化为正常，并且这些选项卡变得像实际页面一样。这是丑陋的，但它的工作原理。你也可以设计这些版本的风格。
谷歌只是做了他们的爬虫运行JavaScript没有任何开发的变化！
http://googlewebmastercentral.blogspot.com/2015/10/deprecating-our-ajax-crawling-scheme.html
他们指出：
今天，只要你不抓取您的JavaScript或CSS文件阻挡Googlebot，我们一般都能够渲染和了解您的网页的现代化浏览器。
“...如果您在禁用Javascript的情况下查看此页面，则主要内容区域为空白。”不，它不是。实际上，它看起来非常混乱。 – NickFitz 2009-07-23 09:23:07
你使用什么浏览器？当我在禁用JavaScript的Firefox中访问第一个链接时，我看到“terra.cl'的信息，然后是空白框。查看html源代码我看到一个ID = query-content的空DIV，其中的AJAX内容将去。 – frankadelic 2009-07-23 13:31:36