Python爬虫实现爬取下载网站数据的几种方法示例
引言
使用脚本进行下载的需求很常见,可以是常规文件、web页面、Amazon S3和其他资源。Python 提供了很多模块从 web 下载文件。下面介绍
一、使用 requests
requests 模块是模仿网页请求的形式从一个URL下载文件
示例代码:
1 2 3 4 5 6 7 | import requests url = 'xxxxxxxx' # 目标下载链接 r = requests.get(url) # 发送请求 # 保存 with open ( 'r.txt' , 'rb' ) as f: f.write(r.content) f.close |
二、使用 wget
示例代码
1 2 3 4 | import wget url = 'https://pic.cnblogs.com/avatar/1197773/20170712160655.png' # 目标路由,下载的资源是图片 path = 'D:/x.png' # 保存的路径 wget.download(url, path) # 下载 |
三、下载重定向资源
有些 URL 会被重定向到另一个 URL,后者是真正的下载链接。很多软件的下载其实都是这样的形式。
URL看起来如下https://readthedocs.org/projects/python-guide/downloads/pdf/latest
重定向的 URL 也可以用 requests 库进行下载,只需加一个参数就可以
1 2 3 4 5 6 7 | import requests url = 'https://readthedocs.org/projects/python-guide/downloads/pdf/latest' # allow_redirect参数True表示允许重定向 r = requests.get(url, allow_redirect = True ) with open ( 'r.txt' , 'wb' ) as f: f.write(r) f.close() |
四、大文件分块下载
有些文件非常的大,如果我们直接下载,可能会因为事件原因或者网络原因造成下载失败,这时候我可以使用分块下载的形式进行下载。
requests 支持分块下载,只需要将 stream 设为True 即可
1 2 3 4 5 6 7 8 | import requests url = 'https://readthedocs.org/projects/python-guide/downloads/pdf/latest' # stream参数True表示分块下载 r = requests.get(url, stream = True ) with open ( 'r.txt' , 'wb' ) as f: for ch in r: f.write(r) f.close() |
五、并行下载
多线程、多进程并发下载,大大提高下载速度
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 | import requests from multiprocessing.poll import Pool # 定义下载函数 def url_response(url): path, url = url r = requests.get(url, stream = True ) with open (path, 'wb' ) as f: for ch in r: f.write(ch) f.close() urls = [ 'aaa' , 'bbb' , 'ccc' ] # 假设有好多个下载链接 # 排队下载的方式 for x in urls: url_response(x) # 并行下载的方式 ThreadPool( 3 ).imap_unordered(url_response, urls) |
六、下载中加入进度条
使用进度条更直观的查看下载进度,这里使用 clint 模块实现进度条功能
下载
1 2 3 4 5 6 7 8 9 10 | import requests from clint.textui import progess url = 'xxxxxxxxxxx' r = requests.get(url, stream = True ) with open ( 'x.txt' , 'wb' ) as f total_length = int (r.headers.get( 'content-length' )) for ch in progress.bar(r.iter_content(chunk_size = 2391975 , expected)size = (total_length / 1024 ) + 1 )): if ch: f.write(ch) f.close() |
七、使用 urllib 模块下载
urllib库是Python的标准库,因此不需要安装它。
下载代码
八、通过代理下载
因为一些众所周知的原因我们下载国外的资源会非常的慢,这时候可以使用代理的方式进行下载
requests 模块使用代理
1 2 3 4 5 6 | import requests # 定义代理,假设本机上有个梯子的服务,代理端口是2258 proxy = { 'http' : 'http://127.0.0.1:2258' } url = 'xxxxxx' r = requests.get(url, proxies = proxy ) ....... |
urllib 模块使用代理
1 2 3 4 5 6 | import urllib.request #Python小白学习交流群:153708845 url = 'xxxxxxxxxx' proxy = urllib.request.ProxyHandler({ 'http' : '127.0.0.1' }) open_proxy = urllib.request.build_opener(proxy ) # 打开代理 urllib.request.urlretrieve(url) |
九、使用 urllib3
urllib3 是 urllib 模块的改进版本。使用pip下载并安装
以上就是Python爬虫实现爬取下载网站数据的几种方法示例的详细内容,更多关于Python爬取下载网站数据的资料请关注脚本之家其它相关文章!
微信公众号搜索 “ 脚本之家 ” ,选择关注
程序猿的那些事、送书等活动等着你
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若内容造成侵权/违法违规/事实不符,请将相关资料发送至 reterry123@163.com 进行投诉反馈,一经查实,立即处理!
相关文章
IntelliJ IDEA(2019)安装破解及HelloWorld案例(图文)
这篇文章主要介绍了IntelliJ IDEA(2019)安装破解及HelloWorld案例(图文),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧2019-10-10详解Java如何在CompletableFuture中实现日志记录
这篇文章主要为大家详细介绍了一种slf4j自带的MDC类,来记录完整的请求日志,和在CompletableFuture异步线程中如何保留链路id,需要的可以参考一下2023-04-04Spring Boot 中使用@KafkaListener并发批量接收消息的完整代码
kakfa是我们在项目开发中经常使用的消息中间件。由于它的写性能非常高,因此,经常会碰到读取Kafka消息队列时拥堵的情况,这篇文章主要介绍了Spring Boot 中使用@KafkaListener并发批量接收消息,需要的朋友可以参考下2023-02-02
最新评论