2017-10-20 90 views
0

我创建了一个循环来迭代函数。该功能只是通过一系列代码从雅虎财经获取数据。但是,有些代码在雅虎财务中没有数据,有时会有错误,所以我需要在出现此错误时重新运行该函数。跳过错误并在循环中获取3个错误后继续运行 - 从Pandas获取价格数据

基本上,重新运行可以解决这个错误,但是如果数据库中没有数据,它也无能为力。所以,我想使用一个循环定义,如果有错误,然后重新运行,但是如果该错误出现错误3次,则跳过该错误。

我认为我在循环中做了一些错误,它没有通过那个报价器,并且它保持重新运行,即使它已经超过了3次错误。我可以知道我该如何解决它?

谢谢!

from selenium import webdriver 
from selenium.webdriver.common.by import By 
from selenium.webdriver.support.ui import WebDriverWait 
from selenium.webdriver.support import expected_conditions as EC 
import pickle 
import datetime as dt 
import os 
import pandas as pd 
import pandas_datareader.data as web 

def save_hsci_tickers(): 
    driver = webdriver.Chrome(r"C:/Users/kman/Downloads/chromedriver_win32/chromedriver.exe") 
    wait = WebDriverWait(driver, 10) 
    driver.get("https://www.hsi.com.hk/HSI-Net/HSI-Net?cmd=tab&pageId=en.indexes.hscis.hsci.constituents&expire=false&lang=en&tabs.current=en.indexes.hscis.hsci.overview_des%5Een.indexes.hscis.hsci.constituents&retry=false") 
    tickers = [] 
    for name in wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR, "table.greygeneraltxt td.greygeneraltxt,td.lightbluebg"))): 
     data = str(name.get_attribute('textContent')) 
     tickers.append(data) 
    edit = [x for x in tickers if x != ''] 
    final = edit[::2] 
    driver.quit() 

    def yahoo_ticker(data): 
     if len(data) <= 4: 
      return data.zfill(4) + '.HK' 
     else: 
      return data[0:] + '.HK' 
    yahoo_tickers = [yahoo_ticker(data) for data in final] 
    with open("hscitickers.pickle","wb") as f: 
     pickle.dump(yahoo_tickers, f) 

    print(yahoo_tickers) 
    return yahoo_tickers 

save_hsci_tickers() 

def get_data_from_yahoo (reload_hscitickers=False): 
    if reload_hscitickers: 
     tickers = save_hsci_tickers() 
    else: 
     with open("hscitickers.pickle","rb") as f: 
      tickers = pickle.load(f) 

    if not os.path.exists('stock_dfs'): 
     os.makedirs('stock_dfs') 

    start = dt.datetime(2009,6,30) 
    end = dt.datetime(2017,6,30) 

    for ticker in tickers: 
     print(ticker) 
     if not os.path.exists('stock_dfs/{}.csv'.format(ticker)): 
      df =web.DataReader(ticker,'yahoo',start,end) 
      df.to_csv('stock_dfs/{}.csv'.format(ticker)) 
     else: 
      print('Already have {}'.format(ticker)) 

attempts = 0 
while True: 
    try: 
     get_data_from_yahoo() 
    except: 
     if attempts < 3: 
      attempts += 1 
      continue 
     if attempts >= 3: 
      pass 
    else: 
     break 
+4

你在'if attempts <3'之前设置了'attempts = 0' ...有效地,你只是做了'如果0 <3',那么粗略的总是为真。 –

+0

你在所有异常中设置了0 。 –

+0

另外,如果您希望脚本独立处理每个报价器,则需要分别跟踪每个报价器的故障。有很多方法可以做到这一点。一种好的方法是使用字典:'{'ticker_a':0,'ticker_b:1,...}' – DaveL17

回答

1

您必须在while循环外定义变量尝试才能使其工作。

+0

谢谢。我尝试在While循环外面放置attempts = 0,但它似乎不起作用。我认为这与通过论证有关。即使我使用下面的代码,它不起作用。它没有通过没有数据的股票。 而真: 尝试: get_data_from_yahoo() 除外: 通 其他: 休息 – MKYJ

+0

我已经解决了这个问题。该解决方案是类似于[链接](https://stackoverflow.com/questions/36249835/python-how-to-avoid-error-exceptions-in-pandas-while-still-getting-data) – MKYJ

+0

真棒,你可以将我的答案标记为解决方案 – mgracer