Python中的Xpath和lxml库的使用详解
作者：凌冰_
这篇文章主要介绍了Python中的Xpath和lxml库的使用详解,XPath即 XML路径语言,它是一门在 XML 文档中查找信息的语言,最初被用来搜寻 XML 文档,同时它也适用于搜索 HTML 文档,因此,在爬虫过程中可以使用 XPath 来提取相应的数据,需要的朋友可以参考下
一、Xpath表达式
XPath（全称：XML Path Language）即 XML 路径语言，它是一门在 XML 文档中查找信息的语言，最初被用来搜寻 XML 文档，同时它也适用于搜索 HTML 文档。
因此，在爬虫过程中可以使用 XPath 来提取相应的数据。
Xpath节点:有父、子、同代、先辈、后代节点
<?xml version="1.0" encoding="utf-8"?>
<shop>
<book>
<title lang="zh-CN">java</title>
<name>Java编程思想</name>
<year>2011</year>
<address>www.baidu.com</address>
</book>
</shop>说明：
- title name year address 都是 book 的子节点
- book 是 title name year address 父节点
- title name year address 属于同代节点
- title 元素的先辈节点是 book shop
- shop 的后代节点是 book title name year address
二、Xpath基本语法
1) 基本语法
2) xpath通配符
xpath（'/div/*'）选取div下的所有子节点xpath('/div[@*]')选取所有带属性的div节点
3) 多路径匹配
xpath表达式1 | xpath表达式2 | xpath表达式3
xpath('//div|//table') 选取所有的div和table节点
4）功能函数
三、lxml库
lxml 是 Python 的第三方解析库，完全使用 Python 语言编写，它对 Xpath 表达式提供了良好的支持，因此能够了高效地解析 HTML/XML 文档。
本节讲解如何通过 lxml 库解析 HTML 文档。
安装lxml库
pip3 install lxml
lxml使用流程
1) 导入模块
from lxml import etree
2)创建解析对象
parse_html = etree.HTML(html)
3) 调用xpath表达式
r_list = parse_html.xpath('xpath表达式')4) lxml库数据提取
print(r_list)
四、实战案例
豆瓣书店
#豆瓣书店
import requests
from lxml import etree
if __name__ == '__main__':
url='https://market.douban.com/book/?utm_campaign=book_nav_freyr&utm_source=douban&utm_medium=pc_web'
headers_={
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36"
}
res=requests.get(url,headers_)
# print(res.text)
html=etree.HTML(res.text)
#获取所有的li
lis=html.xpath('.//li[@class="book-item"]')
#循环
for li in lis:
#获取li下的图片
img=li.xpath('.//div[@class="panel-img"]/img/@src')[0]
# print(img)
# 获取li下的标题
title = li.xpath('.//div[@class="panel-detail"]/div/h3/text()')[0]
print(img, title)
到此这篇关于Python中的Xpath和lxml库的使用详解的文章就介绍到这了,更多相关Python中的Xpath和lxml库内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！