使用python中的硒从网页获取表格数据

Question

我对网络报废非常陌生。我有以下网址：

https://www.bloomberg.com/markets/symbolsearch

所以，我用硒进入符号文本框，然后按查找符号，以获得详细信息。这是代码：

from selenium import webdriver 
from selenium.webdriver.common.keys import Keys 

driver = webdriver.Firefox() 
driver.get("https://www.bloomberg.com/markets/symbolsearch/") 
element = driver.find_element_by_id("query") 
element.send_keys("WMT:US") 
driver.find_element_by_name("commit").click() 

它返回表。我如何检索？我很无能。

第二个问题， 我可以在没有硒的情况下执行此操作，因为它会减慢速度吗？有没有办法找到一个返回JSON的API？

Answer 1

from selenium import webdriver 
from selenium.webdriver.common.keys import Keys 
import time 
from bs4 import BeautifulSoup 
import requests 
driver = webdriver.Firefox() 
driver.get("https://www.bloomberg.com/markets/symbolsearch/") 
element = driver.find_element_by_id("query") 
element.send_keys("WMT:US") 
driver.find_element_by_name("commit").click() 
time.sleep(5) 
url = driver.current_url 
time.sleep(5) 

parsed = requests.get(url) 


soup = BeautifulSoup(parsed.content,'html.parser') 
a = soup.findAll("table", { "class" : "dual_border_data_table" }) 

print(a) 

这里是您可以获取所需的表格的总代码。现在做你得到表后需要做的事情。希望它有帮助