urllib

1热度

2回答

我的需求需要我从http url下载一个包并查看其相关进度。我在下面写 import subprocess from urllib import urlopen class MyClass(object): ''' classdocs ''' def url_to_download(self): url_for_download = "

1热度

1回答

当第一页链接不同于其他人时，用BeautifulSoup刮掉多个网页

我试图抓取page！对于我正在进行的一个项目。我想获取每辆车的所有页面的详细信息（价格，里程，传输和年龄）。我下面我的代码遇到的问题是：第一页的链接是从其他人（无页码1 < &页= 1>）汽车的价格是不是里面的不同点击每个广告以获取详细信息后，我想知道如果有人愿意帮助我看看这个建议。由于 from bs4 import BeautifulSoup import requests

0热度

2回答

pymysql不正确的写入数据库的俄文文本

我有以下问题：是否有一个网站编码在windows-1251。我正在使用BeautifulSoup库来获取俄语所需的数据。为了测试记录文件中的值，它们显示正确。然后我试图将这些数据记录到数据库中，但得到这个错误：Warning: (1366, "Incorrect string value: '\\x98\\xD0\\xBD\\xD1\\x82\\xD0...' for column 'descri

0热度

1回答

访问Elasticsearch与Python 3

我想使用Python 3模块urllib在localhost:9200来访问数据库Elasticsearch。我的脚本得到一个有效的请求（由Kibana生成）以JSON格式传递给STDIN。这里是我做过什么： import json import sys import urllib.parse import urllib.request er = json.load(sys.stdin

0热度

1回答

蟒蛇 - 使用BeautifulSoup发布刮瑕

我试图使用Beautiful Soup 4和URLLIB作为个人项目来抓取Stack Overflow作业页面。我正面临着一个问题，我试图抓住每页上列出的50个职位的所有链接。我正在使用正则表达式来识别这些链接。即使我正确地引用标签，我面对这两个具体问题：取而代之的是50个链接在源代码中清晰可见的，我一次比一次只有25结果我的输出（占比之后删除初始不相关的链接）链接在源代码和我的输出中排序的方

1热度

1回答

使用urllib获取和放入json数据格式请求（2）

我需要实现“put”和“get”REST API请求来发送JSON文件。问题是它必须使用urllib或urllib2模块来完成（例如，没有请求模块）。有没有关于如何做的简要教程？谢谢！

1热度

2回答

登录一个网站并浏览另一个页面

我有一个Python 2的脚本，用于登录到网页，然后向内移动以访问指向同一网站但指向不同页面的几个文件。 Python 2让我用我的凭证打开网站，然后创建一个opener.open()以保持可用的连接导航到其他页面。下面是在Python 2工作代码： $Your admin login and password LOGIN = "*******" PASSWORD = "********"

1热度

1回答

蟒蛇 - urllib.request.urlretrieve抛出意外的异常未知的URL类型：“”

我试图用urllib.request.retrieve（）我使用Python 3下载文件和下载是成功的，但我不知道为什么会抛出异常。由于某种原因，它会引发异常。这是主要的文件： import os import urllib.request zip_file_open = open("urls.txt") if not os.path.exists('zip'): os.

0热度

1回答

关于使用urllib3替换urllib2

我试图使用下面的代码段。我正在使用Python 3，它有urllib3而不是urllib2。我想知道如何在urllib3中替换此部分fh = urllib2.urlopen('http://people.ku.edu/~gbohling/geostats/WGTutorial.zip') data = fh.read()。谢谢。 clusterfile = 'ZoneA.dat' if not

3热度

1回答

登录网站使用，而不是http.client

我试图登录到使用下面的代码使用Python中urllib网站的urllib： import urllib.parse import urllib.request headers = {"Content-type": "application/x-www-form-urlencoded"} payload = urllib.parse.urlencode({"username": "USERN