Google Cloud IP是否可供普通用户使用？

Question

经过几天的巨大攻击后，来自中国的大多数人，今天我开始从Google云端IP获得很多点击量（他们甚至没有关注robots.txt文件）我知道这是Google Bots抓取工具还是使用Google Cloud IP来抓取网站的用户？如果我阻止他们可以影响我的谷歌排名？

Ips的列表：

August 3, 2017, 12:00 am - 107.178.194.117 - 6 
August 3, 2017, 12:00 am - 107.178.194.96 - 6 
August 3, 2017, 12:00 am - 107.178.194.115 - 6 
August 3, 2017, 12:00 am - 107.178.194.115 - 5 
August 3, 2017, 12:00 am - 107.178.194.96 - 5 
August 3, 2017, 12:00 am - 107.178.194.96 - 4 
August 3, 2017, 12:00 am - 107.178.194.113 - 12 
August 3, 2017, 12:00 am - 107.178.194.113 - 11 
August 3, 2017, 12:00 am - 107.178.194.99 - 4 
August 3, 2017, 12:00 am - 107.178.194.127 - 5 
August 3, 2017, 12:00 am - 107.178.194.117 - 5 
August 3, 2017, 12:00 am - 107.178.194.127 - 4 
August 3, 2017, 12:00 am - 107.178.194.115 - 4 
August 3, 2017, 12:00 am - 107.178.194.127 - 3 

Answer 1

我建议进入谷歌的网站管理员工具： https://www.google.com/webmasters/tools

的“爬网”部分中，您可以看到正是谷歌爬虫在你的网站做的事情。

Google抓取工具只能沿着您已经在robots.txt中设置的路径google link。这里有一个例子：

#all crawlers 
User-agent: * 
Disallow:/
User-agent: Googlebot 
Allow:/
Disallow: /[dont-crawl-this-pad]/ 

#yahoo 
User-agent: Slurp 
Allow:/
User-Agent: msnbot 
Disallow:/

如果你怀疑一个IP被扫描的网站robots.txt文件中定义的路径之外，你可以阻止它毫不犹豫地，以任何方式，你可以知道爬虫与网站管理员工具中的地位，以便您的网站保持位置

希望此信息有帮助。