跳至正文
View Categories

1 min read

模块requests官网文档：https://docs.python-requests.org/zh_CN/latest/

Requests模块是第三方模块，需要预先安装，requests模块在python内置模块的基础上进行了高度的封装，从而使得python进行网络请求时，变得更加简洁和人性化。

1.安装 #

非常简单，打开cmd，直接pip安装,或pycharm 中搜索 requests 安装即可。

pip install requests

2.导入模块 #

import requests

3.简单使用 #

Get 请求 #

发送无参数的get请求,尝试获取某个网页。

import requests

r = requests.get('http://www.baidu.com')

发送无参数的get请求 设置超时时间 timeout 单位秒。

import requests

r = requests.get('http://www.baidu.com', timeout=1)

发送带参数的请求。

你也许经常想为 URL 的查询字符串(query string) 传递某种数据。如果你是手工构建 URL，那么数据会以键/值对的形式置于 URL 中，跟在一个问号的后面。例如， www.baidu.com/?key=val。 Requests 允许你使用 params 关键字参数，以一个字符串字典来提供这些参数。举例来说，如果你想传递 key1=value1 和 key2=value2 到 www.baidu.com/ ，那么你可以使用如下代码：

import requests

payload = {'key1': 'value1', 'key2': 'value2'}
r = requests.get("https://www.baidu.com/", params=payload)
print(r.url)

你还可以将一个列表作为值传入。

import requests

payload = {'key1': 'value1', 'key2': ['value2', 'value3']}
r = requests.get('http://www.baidu.com/', params=payload)
print(r.url)

定制请求头
如果你想为请求添加 HTTP 头部，只要简单地传递一个 dict 给 headers 参数就可以了

import requests

url = 'https://www.baidu.com/s?wd=python'
headers = {
    'Content-Type': 'text/html;charset=utf-8',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'
}
r = requests.get(url, headers=headers)

Response对象使用：

r.url                             #打印输出该 URL
r.headers                         #以字典对象存储服务器响应头，但是这个字典比较特殊，字典键不区分大小写，若键不存在则返回None
r.status_code                     #返回连接状态，200正常。
r.text                            #默认以unicode形式返回网页内容，也就是网页源码的字符串。
r.content                         #以字节形式（二进制）返回。字节方式的响应体，会自动为你解码 gzip 和 deflate 压缩。
r.json()                          #把网页中的json数据转成字典并将其返回。
r.encoding                        #获取当前的编码
r.encoding = 'ISO-8859-1'         #指定编码,r.text返回的数据类型，写在r.text之前。

POST 请求 #

HTTP 协议规定 POST 提交的数据必须放在消息主体（entity-body）中，但协议并没有规定数据必须使用什么编码方式,服务端通过是根据请求头中的Content-Type字段来获知请求中的消息主体是用何种方式进行编码，再对消息主体进行解析。具体的编码方式包括：

1.最常见post提交数据的方式，以form表单形式提交数据

application/x-www-form-urlencoded

2.以json串提交数据

application/json

3.一般使用来上传文件

multipart/form-data

实例如下：

1. 以form形式发送post请求

Reqeusts支持以form表单形式发送post请求，只需要将请求的参数构造成一个字典，然后传给requests.post()的data参数即可

import requests

payload = {'key1': 'value1',
           'key2': 'value2'
           }
r = requests.post("http://httpbin.org/post", data=payload)
print(r.text)

2. 以json形式发送post请求
可以将一 json串传给requests.post()的data参数

import requests
import json

url = 'http://httpbin.org/post'
payload = {'key1': 'value1', 'key2': 'value2'}

r = requests.post(url, data=json.dumps(payload))
print(r.headers.get('Content-Type'))

3. 以multipart形式发送post请求
Requests也支持以multipart形式发送post请求，只需将一文件传给requests.post()的files参数即可,文本文件report.txt的内容只有一行：Hello world!，从请求的响应结果可以看到数据已上传到服务端中。

import requests

url = 'http://httpbin.org/post'
files = {'file': open('report.txt', 'rb')}
r = requests.post(url, files=files)
print(r.text)

抓取天气数据的简单实例： #

import requests
from bs4 import BeautifulSoup
import xlwings as xw

# 数据获取
r = requests.get('https://tianqi.2345.com/')
# print(r.text)
with open('data.html', 'w', encoding='utf-8') as f:
    f.write(r.text)

# 数据解析
soup = BeautifulSoup(r.text, features="html.parser")
tags = soup.find_all(name='a', attrs={'class': 'content-right-ox-itm wea-white-icon'})
# print(tags)
places = []
temps = []
for tag in tags:
    tag_soup = BeautifulSoup(str(tag), features="html.parser")
    place = tag_soup.find(name='span')
    temp = tag_soup.find(name='strong')
    places.append(place.string)
    temps.append(temp.string)
    # print(place.string)
    # print(temp.string)

# 写入excel表格
wb = xw.Book()
sht = wb.sheets['Sheet1']

i = 0
while i < len(places):
    line = str(i + 1)
    sht.range('A' + line).value = places[i]
    sht.range('B' + line).value = temps[i]
    i += 1

wb.save('weather.xlsx')
您的感觉是什么