Python使用requests模块发送http请求的方法介绍
作者:陆理手记
1.引言
Python Requests是一个 HTTP 库,它允许我们向 Web 服务器发送 HTTP 请求,并获取响应结果。
requests: 让 HTTP 服务人类 -- 来自requests文档
它通过处理会话,cookie 的自动管理以及与 HTTP 连接的 Keep-Alive 能力来简化了 HTTP 请求。 首先,我们需要安装模块。建议使用 pip,具体命令如下:pip install requests
。安装完成后,我们就可以通过import requests
导入请求模块并使用它了。
2.发送Get请求
使用 GET 方法获取 Web 页面
response = requests.get("https://www.poycode.cn/") print(response)
输出结果:
<Response [200]>
看到上述结果,则表示我们请求成功了。如果你想查看更多关于response的信息,可以参考一下几个方法
print(response.status_code) # 返回状态码 print(response.reason) # 正常返回OK,异常返回对应的Http响应状态描述 print(response.headers) # 获取响应头 print(response.text) # 返回请求的内容 print(response.content) # 返回请求的内容 print(response.cookies) # cookies内容
关于 response.text
与 response.context
的区别:
方法 | 类型 | 解码类型 | 变更编码方式 |
---|---|---|---|
response.text | <class 'str'> | 根据HTTP 头部对响应的编码作出有根据的推测,推测的文本编码 | response.encoding='gbk' |
response.content | <class 'bytes'> | 没有指定 | response.content.deocde('utf-8') |
同时,我们还可以通过方法 requests.get(url, params, args)
携带参数 发送请求至对应地址:
url = 'https://www.poycode.cn/' params = {'id': 1024, 'name':'poycode'} response = requests.get("https://www.poycode.cn/", params) # args为其他参数,如header、cookies之类,此处不演示 #打印完整请求地址 print(response.url)
结果如下:
https://www.poycode.cn/?id=1024&name=poycode
写个小示例,获取二进制响应,抓取下poycode.cn站点上的图片
response = requests.get("https://static.poycode.cn/wp-content/uploads/2023/06/20230602225540172.jpg") print(response.content) with open ('poycode.png', 'wb') as f: f.write(response.content)
运行代码后,即可在运行路径下看到一张名为 poycode.png
的图片。
3. 使用 POST 方法提交表单数据
payload = {'key1': 'value1', 'key2': 'value2'} response = requests.post('https://httpbin.org/post', data=payload) print(response.content)
还可以使用 JSON 数据提交 POST 请求
import json payload = {'key1': 'value1', 'key2': 'value2'} response = requests.post('https://httpbin.org/post', json=payload) print(response.content)
4.代理服务器
requests模块支持使用代理服务器发送HTTP请求。可以通过以下方式指定代理服务器:
import requests url = 'http://www.poycode.cn' proxies = { 'http': 'http://proxy.poycode.cn:8080', 'https': 'http://proxy.poycode.cn:8080', } response = requests.get(url, proxies=proxies)
5.使用cookies
requests模块支持使用cookies来保存登录信息等用户状态信息,并且可以方便地获取、设置cookies。
import requests url = 'https://www.poycode.cn' response = requests.get(url) print(response.cookies) # 获取cookies #直接使用cookies cookies = repsonse.cookies resp = requests.post("https://www.poycode.cn", cookies=cookies) #或者将cookies放入headers中 headers = {"Set-Cookie": cookies} resp = requests.post("https://www.poycode.cn", headers=headers)
6.其他协议
除了HTTP协议,requests模块还支持使用FTP协议、HTTPS协议、SMTP协议等。可以通过以下方式来使用其他协议:
import requests url = 'ftp://poycode.cn/file' response = requests.get(url) url = 'https://poycode.cn' response = requests.get(url) url = 'smtp://poycode.cn' response = requests.post(url)
7.总结
以上是 requests 模块的一些基本操作示例。另外requests还能实现认证 requests.get(url, auth=('user','pwd'),此处不再演示。有需要或想要了解的可以通过查看 requests 的官方文档,以便更好地了解它更高级的用法。
在本教程中,我们快速体验并掌握 requests 模块的基础使用方法。这些足以保证我们应对日常的一些简单开发工作,希望这篇教程能够对你有所帮助!
到此这篇关于Python requests模块发送http请求的方法的文章就介绍到这了,更多相关Python requests http请求内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!