如何在网站被抓取时停止请求Google地理编码api

Question

我使用的是Google地理编码API，网站目前流量并不多，但每天超过2500个请求的每日限制。 我检查并发现它超出了每日限制，因为该网站正在被各种网站/搜索引擎抓取，其中包括Google抓取。

有什么方法可以阻止在抓取网站时向Google API生成的请求？或者，如果某些网站（包括Google）正在抓取该网站，我们可以通过哪种方式停止执行代码？

Answer 1

嗯，我的代码是这样的：

def geocoding(address): 
    print(address) 
    time.sleep(0.2) 
    g=geocoder.google(address) 
    return g.latlng 

def main(): 
    cases() 
    for count in range(len(addresses)): 
     code= geocoding(addresses[count]) 
     print code 
     try: 
      latitude.append(code[0]) 
      longitude.append(code[1]) 
     except: 
      latitude.append("") 
      longitude.append("")   
     writeExcel() 

正如你所看到的，我做了一个循环 地址，latitute和longituitde是数组，写过人之处把阵列到Excel

如果你创建一个支票，你可以停下来休息一下：

def main(): 
    cases() 
    for count in range(len(addresses)): 
     code= geocoding(addresses[count]) 
     if code[0]=="": 
      break 
     print code 
     try: 
      latitude.append(code[0]) 
      longitude.append(code[1]) 
     except: 
      latitude.append("") 
      longitude.append("")   
     writeExcel()