如何使用python urllib在搜索框中搜索？

Question

我期待使用的urllib在https://bigfuture.collegeboard.org

这里搜索框搜索就是我有，但它只是让我的html网页：

import requests 
from urllib import urlopen 
from urllib import urlencode 
from bs4 import BeautifulSoup 

url = "https://bigfuture.collegeboard.org" 
data = urlencode({'q': 'financial analyst'}) 
results = requests.post(url, data) 
soup = BeautifulSoup(results.content, 'html.parser').encode("ascii", "ignore") 

output = open('text.txt','w') 
output.write(soup) 

如何使用，并提交给搜索框？

Answer 1

您需要在您的url中包含/sitesearch端点。如果我搜索“康大”，该网站点击率的网址是：

https://bigfuture.collegeboard.org/sitesearch?q=uconn&searchType=bf_site&tp=bf_site 

因此，所有你需要做的是改变你的网址：

url = "https://bigfuture.collegeboard.org/sitesearch" 

另外，请确保您要关闭文件对象或使用上下文管理器with！

Answer 2

只需使用语义网址中的查询参数

E.G.

searches = ['test','new search'] 

for search in searches: 
    search = search.replace(' ','+') 
    url = 'https://bigfuture.collegeboard.org/sitesearch?q=%s&searchType=bf_site&tp=bf_site' % (search) 
    print url 
    requests.get(url)