python

关注公众号 jb51net

关闭
首页 > 脚本专栏 > python > Scrapy设置采集深度

Python在Scrapy中设置采集深度的实现

作者：音乐学家方大刚

Scrapy是一个功能强大的Python爬虫框架,通过设置采集深度,可以优化爬虫效率,并防止爬虫陷入无尽的链接循环,本文详细介绍了如何在Scrapy中控制采集深度,感兴趣的可以了解一下

Scrapy 是一个非常强大的 Python 爬虫框架，它允许开发者通过少量的代码爬取网站中的数据。为了控制爬虫的行为，Scrapy 提供了许多配置选项，其中 采集深度 是一个关键参数。采集深度控制爬虫从起始 URL 开始，深入爬取链接的层级。合理设置采集深度可以帮助你优化爬虫的效率，避免不必要的深度爬取，也可以防止爬虫陷入无尽的链接循环。

本文将详细介绍在 Scrapy 中如何设置采集深度，以及如何控制和监控爬取深度来提高爬虫的性能和数据质量。

1. 什么是采集深度？

采集深度（Crawl Depth）是指爬虫从初始 URL（种子 URL）出发，爬取页面中的链接时所递归的层次。假设你有以下网页层次结构：

Page 1 (初始 URL)
├── Page 2 (深度 1)
│   ├── Page 3 (深度 2)
│   └── Page 4 (深度 2)
└── Page 5 (深度 1)

在这个例子中：

Page 1 是初始页面，深度为 0。
Page 2 和 Page 5 是初始页面的直接链接，深度为 1。
Page 3 和 Page 4 是从 Page 2 链接到的页面，深度为 2。
通过控制采集深度，你可以限制爬虫在页面之间的递归层次，避免陷入过深的链接链条，从而更高效地爬取数据。

2. 为什么要控制采集深度？

控制采集深度有助于管理爬虫的性能，以下是常见的几个原因：

3. 如何在 Scrapy 中设置采集深度？

Scrapy 提供了几个关键配置项来控制爬虫的采集深度：

3.1 使用 DEPTH_LIMIT 设置最大采集深度

DEPTH_LIMIT 是 Scrapy 中用于限制爬虫最大爬取深度的配置项。你可以在 settings.py 中设置它。默认情况下，Scrapy 没有深度限制（即不限深度爬取），如果你想限制爬取的深度，可以通过设置该参数来实现。

示例：限制爬虫最多爬取 3 层页面

在 Scrapy 项目的 settings.py 文件中，添加以下配置：

# settings.py

# 设置爬虫的最大爬取深度为 3
DEPTH_LIMIT = 3

这样，爬虫只会爬取到初始 URL 的 3 层深度。假如爬虫从 Page 1 开始，最多会爬取到 Page 4，深度为 2 的页面。

3.2 启用深度统计信息：DEPTH_STATS

Scrapy 允许你启用深度统计，通过 DEPTH_STATS 配置项来查看每层深度的页面抓取情况。这个功能非常有用，可以帮助你了解爬虫的爬取深度和页面分布情况。

要启用深度统计，在 settings.py 中设置：

# settings.py

# 启用深度统计
DEPTH_STATS = True

# 启用统计信息的打印输出
DEPTH_STATS_VERBOSE = True

当你启用 DEPTH_STATS_VERBOSE 后，Scrapy 会在爬取结束时打印出每个深度的抓取统计信息，包括每一层有多少页面被抓取。

输出示例：

Depth stats: 
   depth=0 - 1 pages
   depth=1 - 10 pages
   depth=2 - 25 pages
   depth=3 - 30 pages

这份报告清楚地显示了爬虫在每一层抓取了多少页面，帮助你评估爬取的覆盖范围。

3.3 结合 DEPTH_PRIORITY 控制采集策略

除了限制爬取深度外，Scrapy 还允许你通过 DEPTH_PRIORITY 控制爬虫是采用 深度优先（DFS）还是 广度优先（BFS）策略。

设置 DEPTH_PRIORITY = 1 可以使爬虫更倾向于深度优先搜索。
设置 DEPTH_PRIORITY = -1 则可以使爬虫更倾向于广度优先搜索（这是默认值）。
例如，如果你希望爬虫使用深度优先采集，优先抓取新发现的页面：

# settings.py

# 设置为深度优先搜索
DEPTH_PRIORITY = 1
SCHEDULER_DISK_QUEUE = 'scrapy.squeues.PickleFifoDiskQueue'
SCHEDULER_MEMORY_QUEUE = 'scrapy.squeues.FifoMemoryQueue'

如果你希望爬虫默认使用广度优先搜索（即逐层抓取，直到抓取到最大深度），可以保留默认设置或将 DEPTH_PRIORITY 设置为 -1：

# settings.py

# 使用广度优先搜索（默认）
DEPTH_PRIORITY = -1
SCHEDULER_DISK_QUEUE = 'scrapy.squeues.PickleLifoDiskQueue'
SCHEDULER_MEMORY_QUEUE = 'scrapy.squeues.LifoMemoryQueue'

4. 示例：控制 Scrapy 爬虫的采集深度

以下是一个简单的 Scrapy 爬虫示例，展示如何使用 DEPTH_LIMIT 控制爬取深度，并启用深度统计。

爬虫代码：

import scrapy

class DepthSpider(scrapy.Spider):
    name = 'depth_spider'
    start_urls = ['https://example.com']

    def parse(self, response):
        self.log(f'爬取页面: {response.url}')
        # 提取页面中的链接并继续爬取
        for href in response.css('a::attr(href)').getall():
            yield scrapy.Request(url=response.urljoin(href), callback=self.parse)

settings.py 文件：

# settings.py

# 设置最大爬取深度为3
DEPTH_LIMIT = 3

# 启用深度统计
DEPTH_STATS = True
DEPTH_STATS_VERBOSE = True

# 使用深度优先策略
DEPTH_PRIORITY = 1
SCHEDULER_DISK_QUEUE = 'scrapy.squeues.PickleFifoDiskQueue'
SCHEDULER_MEMORY_QUEUE = 'scrapy.squeues.FifoMemoryQueue'

运行爬虫：
在命令行中运行爬虫：

scrapy crawl depth_spider

爬虫将会遵循深度优先策略，最多爬取 3 层页面，并在爬取完成后输出每个深度的统计信息。

5. 如何动态调整采集深度？

除了在 settings.py 中配置采集深度，还可以在运行爬虫时动态设置深度限制。你可以通过命令行传递 DEPTH_LIMIT 参数，而不需要修改 settings.py 文件。

例如，在运行爬虫时设置深度限制为 2：

scrapy crawl depth_spider -s DEPTH_LIMIT=2

这种方式非常灵活，适合在不同的场景下快速调整爬虫的行为。

6. 总结

通过合理控制 Scrapy 爬虫的采集深度，可以帮助你优化爬取效率，避免陷入无尽的链接循环，并限制爬虫获取过多不相关的内容。Scrapy 提供了 DEPTH_LIMIT、DEPTH_STATS 和 DEPTH_PRIORITY 等配置选项，允许你灵活地控制爬虫的深度、监控抓取过程，并设置适合的采集策略。

到此这篇关于Python在Scrapy中设置采集深度的实现的文章就介绍到这了,更多相关Scrapy设置采集深度内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:
阅读全文