google-crawlers

-3热度

2回答

我知道用美丽的汤姆模块编写Python爬虫。现在我想检测是否有人抓取我的网站。怎么做。有人可以指向我的代码或源代码。基本上我正在寻找在Python中编写反爬行器。

0热度

1回答

我想为我拥有的大型数据库实现一些图像。我不是一个接一个地搜索，下载和重命名，而是考虑一个脚本，它会将每个关键字的第一个谷歌图像结果下载到我的服务器中。这可能吗？关于网络爬虫的东西？我搜索了Google API文档和其他StackOverflow帖子，但没有回答我的问题。

1热度

1回答

如何通知履带阿贾克斯供电的页面完全加载和准备采取的快照

有角/ REST供电的网页，但没有使用导航模块（没有基于哈希（＃！）导航）。尽管贬低谷歌的AJAX爬行webmasters-ajax-crawling，似乎爬虫只能看到JS生成的内容不依赖于AJAX（REST）调用响应，并且看不到页面内容取决于AJAX调用响应。感觉就像谷歌的页面呈现不给足够的时间，因为它没有能力来识别，如果在JS所有预期的逻辑已经完成completelly .. 问：有没有办

0热度

1回答

Vue.js |爬行者无法关注v-for generated链接

我有一个使用Laravel和Vue.js渲染列表的小站点。你可以查看它here。它看起来像Google抓取工具无法关注由v-for生成的链接。 Google Search Console说：Not found: vergleichen/%7B%7B%20anbieter.slug%20%7D%7D以及我所知道的所有onpage抓取工具都无法抓取链接。我在做什么错？有没有解决方法？任何帮助表示赞赏

0热度

2回答

当我使用js src以GOD的名义从php页面

获取内容时，Google不会在搜索结果中显示我的网页。我在网站1的一个页面中有一个js代码，用于显示内容。 <script id="mdval" src="http://web1.com/api/pc.php" type="text/javascript" dval="sourceval"> 用这种方法我从其他服务器的网站2的数据库中收到文章和新闻。我没有任何关于接收来自网站2的内容的问题，

-1热度

1回答

谷歌爬虫如何通过互联网找到每一个页面

今天我有一个问题，如果谷歌爬虫如何在爬行过程中通过互联网找到每一页，请分享我的答案，如果你有。查看下面的链接，如果你需要更多的话。 HOW SEARCH WORKS 在此先感谢!!!!

-1热度

1回答

我们无法访问您网站的robots.txt文件

我使用Google网站管理员验证了我的网站。我在Wordpress中创建了我的网站，并且还添加了robots.txt。现在，谷歌是否显示在DNS和服务器连接，但和黄色警示标志绿色对勾上的robots.txt取.. 我的robots.txt文件是这个样子： robots file 而且当我运行的机器人。 txt测试在网站管理员，它给出了允许的结果..我的网站甚至没有在谷歌搜索.. 当我提交我的网站在

1热度

1回答

如何获取Google索引AngularJS Web应用程序

我有一个使用AngularJS构建的单页应用程序。所有请求都被提供到index.html中，并且从那里开始，Angular接受路由并查询一组API端点以获取要显示的数据。该网站的标题和SEO元数据和说明获取相同的方式。值得注意的是，API端点位于不同的域上，所以SPA实际上正在执行跨源请求以获取数据。从用户的角度来看，一切正常。但是，当谷歌抓取网站时，它不会提取任何元数据或标题，而只是显示角度

1热度

2回答

不完整的robots.txt，会发生什么？

我在网站上有一个页面，并且无法访问我的页面以外的任何其他页面。该网站用于销售各种小型产品。经过一年多的时间，并使用谷歌AdWords来帮助推广自己，我注意到没有任何产品的网页在谷歌上被索引。当我注意到该网站的robots.txt并没有包含太多的内容，并且想知道这是否与它有关。产品网址，格式如下： www.example.com/myshopname/[product ID]?q=I[produ

7热度

1回答

Google抓取方式 - Googlebot（桌面）无法正确呈现网页

我遇到了让Googlebot正确呈现我的网页的问题。它渲染我的页面的页眉和一行（仅仅是页面的顶部背景图片），然后无法渲染超出该页面的任何东西，甚至没有页脚，错过了页面的3/4。我的网站是www.runparis.fr并附上呈现的提取的屏幕截图。其他可能相关的信息包括：所取出的代码是什么都不缺的获取状态完成（没有缺失资源）的问题是站点范围;它发生在我的所有网页当我检查了整个页面是完全