python

关注公众号 jb51net

关闭
首页 > 脚本专栏 > python > Python网络请求和数据获取

Python入门到实战之网络请求与数据获取详解

作者:烤汉堡

这篇文章主要为大家详细介绍了Python中网络请求与数据获取的相关知识,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下

一、环境准备,安装requests库

1.安装命令(终端执行)

 #安装requests库
pip install requests -i https://pypi.tuna.tsinghua.edu.cn/simple/
#(该方式是临时指定的,每次下载需要去cmd终端下载库 相对来说比较麻烦,每次添加库的时候就要去cmd终端去下载)

2.解决安装超时的问题(配置国内镜像源)

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

说明:默认连接Python官方仓库,国内镜像源(如清华源)可提升下载速度。

二、基本用法:发起GET请求

1.导入模块与基础请求

import requests #导入requests库
# 在要获取数据的浏览器页面里,找到目标URL(以疾病查询页面为例),键盘按下Fn+F12,查看是什么请求方式
url = 'https://www.youlai.cn/dise'
# 发起get请求,获取响应对象 将获取到的响应对象的结果给到变量res
res = requests.get(url) 
# 打印响应内容(如果响应结果是HTML文本内容)
print("响应内容:",res.text)

2.处理中文乱码问题

import requests
url = 'https://www.tjwenming.cn/'
res = requests.get(url)
# 手动指定编码(根据目标网页的meta标签设置,此处以gb2312为例)
res.encoding = 'gb2312'
print('处理后的中午内容:',res.text)

调用encoding前

调用encoding后

关键步骤:

三、带参数的GET请求

1.参数传递方式

方式一:URL拼接参数(直接在URL中携带参数)

import requests
#包含参数的完整URL(从浏览器复制)
url='https://careers.tencent.com/tencentcareer/api/post/Query?timestamp=1763364793381&countryId=&cityId=&bgIds=&productId=&categoryId=&parentCategoryId=&attrId=2,3&keyword=&pageIndex=1&pageSize=10&language=zh-cn&area=cn'
res = requests.get(url)
print(res.text)

方式二:通过params参数传递

url = 'https://careers.tencent.com/tencentcareer/api/post/Query' # 注意写基础的URL 不带后面的请求参数
params = { # 将请求参数通过字典的形式存起来,给到params
    'timestamp': 1763364793381,
    'ountryId': '',
    'cityId': '',
    'bgIds': '',
    'productId': '',
    'categoryId': '',
    'parentCategoryId': '',
    'attrId': '2,3', # 注意参数为字符串类型
    'keyword': '',
    'pageIndex': 1,
    'pageSize': 10,
    'language': 'zh-cn',
    'area': 'cn'
}
# 发起请求时传递params参数
res = requests.get(url,params=params)
print(res.text)

四、获取二进制数据(图片、视频等)

下载网络图片并保存

import requests
url = 'http://pic.enorth.com.cn/005/026/920/00502692031_21660ab6.jpg'
res = requests.get(url)
#如果请求网址对应的数据为图片视频音频
#获取数据的方式:响应对象.content--->字节数据
res_img = res.content 
with open('1.jpg','wb') as f:
    f.write(res_img)

关键点:

到此这篇关于Python入门到实战之网络请求与数据获取详解的文章就介绍到这了,更多相关Python网络请求和数据获取内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

您可能感兴趣的文章:
阅读全文