python基于BeautifulSoup实现抓取网页指定内容的方法
作者:光索与诺
这篇文章主要介绍了python基于BeautifulSoup实现抓取网页指定内容的方法,涉及Python使用BeautifulSoup模块解析html网页的相关技巧,具有一定参考借鉴价值,需要的朋友可以参考下
本文实例讲述了python基于BeautifulSoup实现抓取网页指定内容的方法。分享给大家供大家参考。具体实现方法如下:
# _*_ coding:utf-8 _*_ #xiaohei.python.seo.call.me:) #win+python2.7.x import urllib2 from bs4 import BeautifulSoup def jd(url): page = urllib2.urlopen(url) html_doc = page.read() soup = BeautifulSoup(html_doc.decode('gb2312','ignore')) for i in soup.find_all('div', id="sortlist"): one = i.find_all('a') two = i.find_all('li') print ("%s %s" % (one,two)) jd("http://channel.jd.com/computer.html")
希望本文所述对大家的Python程序设计有所帮助。
您可能感兴趣的文章:
- python BeautifulSoup使用方法详解
- Python BeautifulSoup [解决方法] TypeError: list indices must be integers or slices, not str
- Python BeautifulSoup中文乱码问题的2种解决方法
- python 解析html之BeautifulSoup
- Python爬虫库BeautifulSoup获取对象(标签)名,属性,内容,注释
- python中bs4.BeautifulSoup的基本用法
- Python使用BeautifulSoup库解析HTML基本使用教程
- python爬虫之BeautifulSoup 使用select方法详解
- python爬虫入门教程--HTML文本的解析库BeautifulSoup(四)
- 从零开始学习Python与BeautifulSoup网页数据抓取