python

关注公众号 jb51net

关闭
首页 > 脚本专栏 > python > Python HTTP请求

Python中HTTP请求的全面指南

作者：傻啦嘿哟

在现代网络应用中,HTTP（HyperText Transfer Protocol）协议是客户端与服务器之间数据传输的核心,本文都将从基础到高级,逐步引导你成为HTTP请求处理的高手,快跟随小编一起学习起来吧

在现代网络应用中，HTTP（HyperText Transfer Protocol）协议是客户端与服务器之间数据传输的核心。作为Python开发者，了解和掌握如何发送和处理HTTP请求至关重要。无论你是开发Web应用、爬虫，还是进行API集成，本文都将从基础到高级，逐步引导你成为HTTP请求处理的高手。

一、HTTP请求基础知识

HTTP是一种无状态的应用层协议，用于客户端和服务器之间的数据传输。其主要特点包括请求-响应模型、无状态性以及对多种数据格式的支持。

一个HTTP请求由请求行、请求头和请求体三部分组成：

一个HTTP响应则包含状态行、响应头和响应体：

二、Python中的HTTP请求库

Python提供了多个模块和库来处理HTTP请求和响应，其中最常用的库是requests。requests库功能强大且易于使用，是发送HTTP请求的流行选择。

安装requests库

你可以使用pip命令来安装requests库：

pip install requests

使用requests库发送HTTP请求

requests库提供了简单的API来发送HTTP请求，包括GET、POST、PUT、DELETE等常见方法。

GET请求

GET请求用于从服务器获取数据。以下是一个简单的GET请求示例：

import requests  
  
response = requests.get('https://jsonplaceholder.typicode.com/posts')  
print(response.status_code)  # 打印状态码  
print(response.json())  # 打印返回的JSON数据

在这个例子中，我们发送了一个GET请求到https://jsonplaceholder.typicode.com/posts，并打印了响应的状态码和JSON数据。

POST请求

POST请求用于向服务器发送数据。以下是一个简单的POST请求示例：

import requests  
  
data = {'title': 'foo', 'body': 'bar', 'userId': 1}  
response = requests.post('https://jsonplaceholder.typicode.com/posts', json=data)  
print(response.status_code)  # 打印状态码  
print(response.json())  # 打印返回的JSON数据

在这个例子中，我们发送了一个POST请求到https://jsonplaceholder.typicode.com/posts，并发送了包含标题、正文和用户ID的JSON数据。

PUT请求

PUT请求用于更新服务器上的资源。以下是一个简单的PUT请求示例：

import requests  
  
data = {'id': 1, 'title': 'updated title', 'body': 'updated body', 'userId': 1}  
response = requests.put('https://jsonplaceholder.typicode.com/posts/1', json=data)  
print(response.status_code)  # 打印状态码  
print(response.json())  # 打印返回的JSON数据

在这个例子中，我们发送了一个PUT请求到https://jsonplaceholder.typicode.com/posts/1，并更新了指定帖子的标题、正文和用户ID。

DELETE请求

DELETE请求用于删除服务器上的资源。以下是一个简单的DELETE请求示例：

import requests  
  
response = requests.delete('https://jsonplaceholder.typicode.com/posts/1')  
print(response.status_code)  # 打印状态码

在这个例子中，我们发送了一个DELETE请求到https://jsonplaceholder.typicode.com/posts/1，并删除了指定帖子。

三、处理HTTP响应

在处理HTTP响应时，我们通常需要获取状态码、响应头和响应体。

获取状态码

状态码表示请求的处理结果，常见状态码包括：

获取状态码的示例：

response = requests.get('https://jsonplaceholder.typicode.com/posts')  
print(f"状态码: {response.status_code}")

获取响应头

响应头包含服务器返回的附加信息，可以通过headers属性获取：

response = requests.get('https://jsonplaceholder.typicode.com/posts')  
print("响应头:")  
for key, value in response.headers.items():  
    print(f"{key}: {value}")

获取响应体

响应体是实际的数据内容，可以通过text或json()方法获取：

response = requests.get('https://jsonplaceholder.typicode.com/posts')  
print("响应体:")  
print(response.text)  # 以字符串形式获取  
print(response.json())  # 以JSON格式获取

四、高级技巧与实践

除了基本的HTTP请求和响应处理外，还有一些高级技巧和实践可以帮助你更高效地发送和处理HTTP请求。

使用连接池

建立HTTP连接是一个耗时的操作，为了减少连接的开销，你可以使用连接池来复用已有的连接。在requests库中，你可以通过设置Session对象来启用连接池。

import requests  
  
session = requests.Session()  
  
# 使用session发送多个请求  
response1 = session.get('https://jsonplaceholder.typicode.com/posts/1')  
response2 = session.get('https://jsonplaceholder.typicode.com/posts/2')  
  
# 关闭session  
session.close()

设置请求头

在发送HTTP请求时，设置合适的请求头信息是非常重要的。例如，设置User-Agent可以模拟不同的浏览器行为，设置Accept-Encoding可以支持压缩以减少传输的数据量。

headers = {  
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}  
response = requests.get('https://example.com', headers=headers)

处理Cookies和Session

如果需要保持会话状态或进行多次请求，建议使用requests.Session()来管理会话，它会自动处理Cookies的持久化和发送。

session = requests.Session()  
  
# 登录并获取cookies  
login_data = {'username': 'your_username', 'password': 'your_password'}  
response = session.post('https://example.com/login', data=login_data)  
  
# 使用session发送其他请求  
response = session.get('https://example.com/protected_page')

错误处理

检查HTTP响应状态码以确保请求成功。对于非200的响应，应适当处理错误，并记录详细的错误信息以便调试。

try:  
    response = requests.get('https://example.com/nonexistent_page')  
    response.raise_for_status()  # 如果状态码不是200，则引发HTTPError异常  
except requests.exceptions.HTTPError as errh:  
    print("Http Error:", errh)  
except requests.exceptions.ConnectionError as errc:  
    print("Error Connecting:", errc)  
except requests.exceptions.Timeout as errt:  
    print("Timeout Error:", errt)  
except requests.exceptions.RequestException as err:  
    print("OOps: Something Else", err)

设置超时时间

为了防止请求无限期地等待，应设置合理的超时时间。这可以通过在请求中传递timeout参数来实现。

response = requests.get('https://example.com', timeout=5)  # 设置超时时间为5秒

使用代理

有时候，由于网络环境的限制，直接发起HTTP请求可能会遇到速度瓶颈。这时，你可以考虑使用代理来绕过限制，提高请求速度。

proxies = {  
    'http': 'http://10.10.1.10:3128',  
    'https': 'http://10.10.1.10:3128'
    }
 
response = requests.get('https://www.zdaye.com', proxies=proxies)  
print(response.text)

注意，代理服务器的URL格式通常为协议://地址:端口。如果你需要身份验证，可以在URL中包含用户名和密码，如http://user:password@proxy.server:port。

HTTP认证

有些网站需要HTTP基本认证才能访问。requests库通过AuthBase类及其子类HTTPBasicAuth来处理这种情况。

from requests.auth import HTTPBasicAuth  
  
url = 'https://example.com/protected'  
username = 'your_username'  
password = 'your_password'  
  
response = requests.get(url, auth=HTTPBasicAuth(username, password))  
print(response.text)

此外，requests库还支持OAuth等更复杂的认证机制，这通常需要通过第三方库来实现。

五、高级功能与实践

自定义请求头

除了常见的User-Agent和Accept-Encoding之外，你还可以根据需要自定义其他请求头。

headers = {  
    'User-Agent': 'Custom User Agent',  
    'Custom-Header': 'CustomHeaderValue',  
}  
  
response = requests.get('https://example.com', headers=headers)  
print(response.headers)

文件上传

使用requests库上传文件非常简单。你只需要将文件对象作为文件字段的一部分传递给POST请求。

url = 'https://example.com/upload'  
files = {'file': open('example.txt', 'rb')}  
  
response = requests.post(url, files=files)  
print(response.text)

流式响应

对于大文件或长时间运行的请求，你可能希望以流的方式处理响应数据，以避免将整个响应内容一次性加载到内存中。

response = requests.get('https://example.com/largefile', stream=True)  
with open('largefile', 'wb') as f:  
    for chunk in response.iter_content(chunk_size=8192):  
        f.write(chunk)

处理重定向

requests库默认会自动处理HTTP重定向。但如果你需要控制重定向的行为，可以通过设置allow_redirects参数来实现。

response = requests.get('https://example.com/redirect', allow_redirects=False)  
print(response.status_code)  # 可能会是301或302  
print(response.headers['Location'])  # 重定向的目标URL

SSL证书验证

默认情况下，requests库会验证SSL证书。但在某些情况下，你可能需要忽略SSL验证（例如，在测试环境中）。虽然不推荐在生产环境中这样做，但你可以通过设置verify参数为False来实现。

response = requests.get('https://example.com', verify=False)  
print(response.text)

然而，更好的做法是指定一个CA证书文件来验证服务器的SSL证书。

response = requests.get('https://example.com', verify='/path/to/cacert.pem')  
print(response.text)

六、总结

本文全面介绍了如何在Python中使用requests库发送和处理HTTP请求。从基础知识到高级技巧，我们涵盖了GET、POST、PUT、DELETE等常见请求方法，以及如何处理HTTP响应、设置请求头、管理Cookies和会话、处理错误、设置超时时间、使用代理和进行HTTP认证等内容。

以上就是Python中HTTP请求的全面指南的详细内容，更多关于Python HTTP请求的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:
阅读全文