详解python selenium 爬取网易云音乐歌单名
作者:Mandy。
这篇文章主要介绍了python selenium爬取网易云音乐歌单名,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
目标网站:
首先获取第一页的数据,这里关键要切换到iframe里
打印一下
获取剩下的页数,这里在点击下一页之前需要设置一个延迟,不然会报错。
结果:
一共37页,爬取完毕后关闭浏览器
完整代码:
url = 'https://music.163.com/#/discover/playlist/' from selenium import webdriver import time # 创建浏览器对象 window = webdriver.Chrome('./chromedriver') window.get(url) time.sleep(1) # 切换到iframe窗口 iframe = window.find_element_by_id('g_iframe') window.switch_to.frame(iframe) music_list = window.find_elements_by_xpath('//ul[@class="m-cvrlst f-cb"]/li') for music_element in music_list: print(music_element.text) print() print('*'*20) page = 1 # 开始提取 while True: time.sleep(2) # 获取下一页 next = window.find_element_by_link_text('下一页') if not next.get_attribute('class') == 'zbtn znxt js-disabled': next.click() else: break time.sleep(1) # 提取数据 music_list = window.find_elements_by_xpath('//ul[@class="m-cvrlst f-cb"]/li') for music_element in music_list: print(music_element.text) print() print(page,'*'*20) page+=1 # 退出浏览器 window.quit()
以上所述是小编给大家介绍的python selenium爬取网易云音乐歌单名详解整合,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!
您可能感兴趣的文章:
- python爬虫之利用Selenium+Requests爬取拉勾网
- python selenium实现智联招聘数据爬取
- python基于selenium爬取斗鱼弹幕
- python爬虫利用selenium实现自动翻页爬取某鱼数据的思路详解
- Python selenium爬取微信公众号文章代码详解
- 基于python requests selenium爬取excel vba过程解析
- Python进阶之使用selenium爬取淘宝商品信息功能示例
- Python使用Selenium+BeautifulSoup爬取淘宝搜索页
- python爬虫系列Selenium定向爬取虎扑篮球图片详解
- python学习之panda数据分析核心支持库
- Python数据分析之彩票的历史数据
- python数据分析之员工个人信息可视化
- python数据分析之公交IC卡刷卡分析
- python数据分析之用sklearn预测糖尿病
- Python数据分析之pandas函数详解
- Python数据分析之Python和Selenium爬取BOSS直聘岗位