Python3 Scrapy库安装使用教程

pip install scrapy

scrapy version

scrapy startproject douban_crawler

douban_crawler/          # 项目根目录
├─ scrapy.cfg            # 项目全局配置文件（如部署相关）
└─ douban_crawler/       # 项目核心代码目录
   ├─ __init__.py
   ├─ items.py           # 定义数据模型（存储爬取到的数据结构）
   ├─ middlewares.py     # 中间件（处理请求/响应，如设置代理、UA）
   ├─ pipelines.py       # 数据管道（清洗、存储数据，如存CSV/数据库）
   ├─ settings.py        # 项目核心配置（请求延迟、并发数、UA等）
   └─ spiders/           # 爬虫脚本目录（核心爬取逻辑在这里）
      └─ __init__.py

cd douban_crawler
scrapy genspider movie_spider movie.douban.com

import scrapy
class MovieSpiderSpider(scrapy.Spider):
    name = "movie_spider"  # 爬虫名称（唯一）
    allowed_domains = ["movie.douban.com"]  # 允许爬取的域名
    start_urls = ["https://movie.douban.com"]  # 初始爬取URL
    def parse(self, response):
        pass  # 数据解析逻辑待编写

# 1. 设置User-Agent（模拟浏览器请求）
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
# 2. 不遵守robots.txt协议（豆瓣robots禁止爬取Top250，学习用途可关闭）
ROBOTSTXT_OBEY = False
# 3. 设置下载延迟（2秒/次，避免请求过快）
DOWNLOAD_DELAY = 2
# 4. 启用自动限速（根据网站响应调整请求速度）
AUTOTHROTTLE_ENABLED = True
AUTOTHROTTLE_START_DELAY = 2  # 初始延迟
AUTOTHROTTLE_MAX_DELAY = 5    # 最大延迟

import scrapy
class MovieSpiderSpider(scrapy.Spider):
    name = "movie_spider"
    allowed_domains = ["movie.douban.com"]
    # 初始URL：豆瓣电影Top250首页（第1页）
    start_urls = ["https://movie.douban.com/top250"]
    # 1. 自定义初始请求（添加Referer，增强模拟浏览器效果）
    def start_requests(self):
        headers = {
            # 已在Settings中设置UA，这里可补充Referer（表明请求来源）
            'Referer': 'https://movie.douban.com/'
        }
        for url in self.start_urls:
            # 生成请求，指定回调函数为parse（处理响应）
            yield scrapy.Request(url=url, headers=headers, callback=self.parse)
    # 2. 解析页面数据（核心方法）
    def parse(self, response):
        # ① 提取当前页所有电影项（豆瓣Top250每页25部电影）
        movie_list = response.css('div.item')  # CSS选择器定位电影列表
        for movie in movie_list:
            # 提取单部电影的字段
            yield {
                # 电影标题（取第一个span.title的文本）
                'title': movie.css('span.title::text').get(),
                # 电影评分（span.rating_num的文本）
                'rating': movie.css('span.rating_num::text').get(),
                # 一句话简介（span.inq的文本，若没有则为None）
                'quote': movie.css('span.inq::text').get()
            }
        # ② 处理分页（爬取下一页）
        # 定位“下一页”链接（span.next下的a标签的href属性）
        next_page = response.css('span.next a::attr(href)').get()
        if next_page is not None:
            # 生成下一页的请求，回调函数仍为parse（循环解析）
            yield response.follow(next_page, callback=self.parse)

scrapy crawl movie_spider -o douban_top250.csv