Python 批量下载阴阳师网站壁纸
作者:阿鼎0815
学习要始于兴趣,自己学习python的一大初衷是希望能用于写一些简单的游戏脚本,能服务于生活。所以决定试着直接从爬取我最爱玩的阴阳师网站的一些壁纸开始
代码复制可直接使用,记得pip install下载requests和bs4
最终版本
# 引入系统类库用于打开关闭文件 import sys # 使用文档解析类库 from bs4 import BeautifulSoup # 使用网络请求类库 import requests #图片保存目录 path = 'D:/阴阳师' #阴阳师壁纸网站 html_doc = "https://yys.163.com/media/picture.html" # 请求 requests_html_doc = requests.get(html_doc).text # 正则匹配所有href地址 regex = re.compile('.*?href="(.*?)2732x2048.jpg" rel="external nofollow" ') urls = regex.findall(requests_html_doc) # set集合可以防止下载的图片重复 result = set() for i in urls: result.add(i) # 计数器用于图片命名 num = 0 # 文件路径、操作模式、编码 # r'' # 打开文件录入图片 f = open(r'result.txt', 'w', encoding='utf-8') for a in urls: try: image_data = requests.get(a).content image_name = '{}.jpg'.format(num) # 给每张图片命名 save_path = path + '/' + image_name # 图片的保存地址 with open(save_path, 'wb') as f: f.write(image_data) print(image_name, '=======================>下载成功!!!') num = num+1 # 下一张图片名字序号加一 except: pass # 关闭文件录入 f.close() print("\r\n扫描结果已写入到result.txt文件中\r\n")
过程
借鉴代码
自己从0开始,没有头绪,而且对python掌握度不高,那先借鉴别人的代码开始,第一篇借鉴的代码如下
# 引入系统类库 import sys # 使用文档解析类库 from bs4 import BeautifulSoup # 使用网络请求类库 import urllib.request path = 'D:/阴阳师' html_doc = "https://yys.163.com/media/picture.html" # 获取请求 req = urllib.request.Request(html_doc) # 打开页面 webpage = urllib.request.urlopen(req) # 读取页面内容 html = webpage.read() # 解析成文档对象 soup = BeautifulSoup(html, 'html.parser') # 文档对象 # 非法URL 1 invalidLink1 = '#' # 非法URL 2 invalidLink2 = 'javascript:void(0)' # set集合可以防止下载的图片连接重复 result = set() # 计数器用于图片命名 num = 0 # 查找文档中所有a标签 for k in soup.find_all('a'): # print(k) # 查找href标签 link = k.get('href') # 过滤没找到的 if(link is not None): # 过滤非法链接 if link == invalidLink1: pass elif link == invalidLink2: pass elif link.find("javascript:") != -1: pass else: result.add(link) for a in result: # 文件路径、操作模式、编码 # r'' f = open(r'result.txt', 'w', encoding='utf-8') # image_data = urllib.request.get(url=a).content image_data = requests.get(url=a).content image_name = '{}.jpg'.format(num) # 给每张图片命名 save_path = path + '/' + image_name # 图片的保存地址 with open(save_path, 'wb') as f: f.write(image_data) print(image_name, '=======================>下载成功!!!') num = num+1 # 下一张图片名字序号加一 f.close() print("\r\n扫描结果已写入到result.txt文件中\r\n")
思考urllib.request和requests
借鉴的代码中使用urllib.request来请求,刚开始学习看到的一些代码实例也常用urllib.request来发起请求,之后看到有的代码使用的是requests。对于我个人,主观感受requests更加便捷,少写了几行代码,于是便去查阅了解两者的区别。
BeautifulSoup
接触到了BeautifulSoup,并且在一些文章的评论中看到对BeautifulSoup的称赞,进入文档查阅了下用法,改变了我之前对python,获取文档中部分特征的元素节点的写法困难的印象。
优化处理
之所以要加正则匹配,因为一开始获取到的图片链接里有空字符串的现象,在下载图片的时候直接报错整个程序挂掉,而且这个借鉴代码中的invalidLink1和invalidLink2看起来属实不舒服。所以添加了正则从源头保证链接的有效性,并且在执行下载代码中,添加了try,except保证程序出错也不会挂掉。
借鉴的代码中每一次的下载,都会对要保存的目录进行打开和关闭,于是将打开关闭抽离到最外层,下载的逻辑放在里面,下载图片成功的提速果然肉眼可见~
总结
壁纸确实不戳~,希望下一个学习的脚本能更加有趣~
以上就是Python 批量下载阴阳师网站壁纸的详细内容,更多关于python 下载阴阳师网站壁纸的资料请关注脚本之家其它相关文章!