从原理到实战深度解析Python生成器与迭代器
作者：至乐活着
引言
在Python开发中，你或许经常用for循环遍历列表、字典甚至文件，但你是否想过，这些对象为什么能被for循环依次取出元素？背后依赖的就是迭代器协议。而yield关键字塑造的生成器，则让迭代器的定义变得异常简洁，并天然支持惰性求值。掌握这两者，不仅能写出更Pythonic的代码，还能在处理大数据流时显著降低内存占用，甚至为理解协程和异步编程打下根基。本文将带你从协议原理出发，通过大量可运行的实战代码，彻底吃透生成器与迭代器。
核心概念：从可迭代对象到生成器
1. 迭代器协议：__iter__与__next__
Python中，所有可以用于for ... in ...的对象都是可迭代对象（Iterable）。可迭代对象内部实现了__iter__方法，该方法需要返回一个迭代器（Iterator）。迭代器则必须实现__iter__方法（通常返回自身）和__next__方法，每次调用__next__都返回下一个元素，当没有元素时抛出StopIteration异常。
for循环的本质就是：
- 调用可迭代对象的__iter__获取迭代器；
- 反复调用迭代器的__next__获取值；
- 捕获StopIteration后退出循环。
下面是一个手动实现的迭代器类，可以倒计时：
class Countdown:
"""倒计时迭代器"""
def __init__(self, start):
self.current = start
def __iter__(self):
# 迭代器的 __iter__ 通常返回自身
return self
def __next__(self):
if self.current < 0:
raise StopIteration
value = self.current
self.current -= 1
return value
# 使用示例
cd = Countdown(3)
for num in cd:
print(num) # 输出 3, 2, 1, 0
内置函数iter()和next()就是直接调用对象的特殊方法。如果对象不是迭代器，iter()会尝试调用其__iter__；同一个对象可多次调用iter()获得独立的迭代器。
2. 生成器函数：把函数变成迭代器工厂
每次定义迭代器都要手动维护状态和异常，代码比较繁琐。生成器函数（generator function）则提供了一个更优雅的方案：只要函数体内包含yield关键字，Python就会将该函数编译为一个生成器。调用生成器函数并不会执行函数体，而是返回一个生成器对象，该对象自动实现了迭代器协议。
def countdown_gen(start):
"""生成器版本的倒计时"""
while start >= 0:
yield start
start -= 1
# 调用后获得生成器对象
cd_gen = countdown_gen(3)
print(type(cd_gen)) # <class 'generator'>
for num in cd_gen:
print(num) # 输出 3,2,1,0
每次调用next()或迭代执行到yield时，函数会暂停并返回值，同时保留局部状态；下一次继续从暂停处恢复运行，直到函数结束自动抛出StopIteration。这样的协程机制使生成器既像函数又像轻量级线程，为异步编程提供了基础。
3. 生成器表达式：懒加载的“列表推导”
类似列表推导，使用圆括号而不是方括号即可构建生成器表达式。它返回一个生成器对象，元素按需生成，不立即计算全部值，内存占用极小。
# 列表推导：立即生成全部元素 squares_list = [x*x for x in range(10)] print(squares_list) # [0,1,4,9,...] # 生成器表达式：仅在迭代时计算 squares_gen = (x*x for x in range(10)) print(squares_gen) # <generator object <genexpr> at ...> print(next(squares_gen)) # 0 print(list(squares_gen)) # [1,4,9,...,81]（注意已经消耗了第一个元素）
使用生成器表达式作为函数参数时，甚至可以省略一组括号，例如sum(x*x for x in range(10))。
实战示例：可运行的完整代码
示例1：读取超大日志文件并实时处理
假设有一个数百MB的日志文件，逐行解析并统计错误数量。如果一次性读取会撑爆内存，使用生成器可以优雅处理。
def read_large_file(file_path):
"""生成器：逐行读取文件，避免全部加载到内存"""
with open(file_path, 'r', encoding='utf-8') as f:
for line in f:
# 每行返回前进行必要清理
yield line.strip()
def count_errors(log_path):
error_count = 0
for line in read_large_file(log_path):
if "ERROR" in line:
error_count += 1
# 可在此实时打印错误行
print(f"发现错误: {line[:50]}...")
return error_count
# 使用（你需要准备一个 .log 文件，下方为模拟）
# error_total = count_errors("server.log")
# print(f"共 {error_total} 条错误")
这里read_large_file是生成器，每次只读取一行，内存中仅保留当前行，实现了流式处理。
示例2：斐波那契数列的生成器实现
生成无限序列是生成器的拿手好戏：
def fibonacci():
"""生成无限斐波那契数列"""
a, b = 0, 1
while True:
yield a
a, b = b, a + b
# 取前10个值
fib = fibonacci()
for _ in range(10):
print(next(fib), end=' ') # 0 1 1 2 3 5 8 13 21 34
无需计算终止条件，调用方可以按需获取数据，典型惰性求值。
示例3：使用yield from委派子生成器
yield from 语法可以将一个生成器的迭代职责委派给另一个子生成器，简化嵌套循环。
def chain_generators(*iterables):
"""将多个可迭代对象串联，类似 itertools.chain"""
for it in iterables:
yield from it # 等价于 for x in it: yield x
# 使用
combined = chain_generators([1,2,3], (4,5), "AB")
print(list(combined)) # [1, 2, 3, 4, 5, 'A', 'B']
yield from 还支持双向通信，能够接收send发送的值并传递给子生成器，这在协程中非常有用。
示例4：手动使用生成器的send与close
生成器不仅仅是产出数据，还可以通过send()向它发送值，实现协程式的协作。
def accumulator():
"""生成器：接收数值并累加，同时返回当前总和"""
total = 0
while True:
value = yield total
if value is None:
break
total += value
return total # Python 3.3+ 可在 return 中携带最终结果
acc = accumulator()
# 先预激（执行到第一个yield）
next(acc) # 或者 acc.send(None)
print(acc.send(10)) # 发送 10，返回当前总和 10
print(acc.send(5)) # 发送 5，返回 15
acc.send(None) # 发送 None 触发 break，停止生成器
# 再次使用将抛出 StopIteration，并且返回值保存在异常属性中
try:
acc.send(0)
except StopIteration as e:
print(f"生成器最终返回值: {e.value}") # 15
注意：生成器需要先调用next()或send(None)启动（预激），否则会抛出TypeError。
常见问题与注意事项
1. 生成器只能遍历一次
迭代器是“一次性”的，遍历结束或手动close()后，再次迭代将不再产出值。若需重复使用，可以重新调用生成器函数创建新生成器，或转为列表等可重复迭代的结构。
gen = (x for x in range(3)) print(list(gen)) # [0,1,2] print(list(gen)) # [] 空列表
2.StopIteration异常处理
在for循环中，StopIteration自动被捕获；手动调用next()时务必处理，否则会引发异常。此外，生成器函数如果包含return语句（Python 3.3+），返回的值会作为StopIteration.value，可以在循环外部捕获处理。
def my_gen():
yield 1
return "Done"
g = my_gen()
print(next(g)) # 1
try:
next(g)
except StopIteration as e:
print(e.value) # "Done"
3. 生成器中的变量作用域与生命周期
生成器函数内部的局部变量在yield暂停后依然保留。要注意闭包或外部变量的引用可能造成意外持有大对象，导致内存不释放。解决方案是使用函数参数或局部变量明确传递数据。
4.yield from的子生成器关闭
当外层生成器调用close()或throw()时，yield from会将异常传递给子生成器。子生成器若无恰当处理，可能导致资源未释放。编写子生成器时，建议使用try/finally确保清理。
5. 性能与选择
虽然生成器节省内存，但每次yield都有一定开销（保存和恢复状态）。对于小数据集，直接使用列表推导可能更快。优化原则：先保证代码清晰，如果内存确实成为瓶颈再考虑生成器。使用timeit和内存监控工具辅助决策。
6. 生成器与协程的关系
生成器是协程的底层实现基础。Python 3.5引入的async/await本质上是基于生成器的进一步封装。理解生成器的send、throw、close，会极大降低学习异步编程的难度。
总结
迭代器和生成器是Python迭代与流式处理的核心机制。迭代器协议统一了遍历接口，而生成器则以简洁的语法和惰性求值特性，让我们能够轻松处理序列化数据、构建高效管道并控制内存占用。通过本文的详细解析和完整代码示例，你应当能够：
- 理解__iter__和__next__如何驱动for循环；
- 熟练使用生成器函数和生成器表达式；
- 知晓yield from如何委派迭代；
- 掌握生成器的send、close等高级操作；
- 避免常见的迭代器陷阱，写出健壮的生产级代码。
在实际项目中，对于大数据流、遍历多层嵌套结构、构建数据处理管道等场景，善用生成器将使你的代码更优雅、更高效。希望你能将这一武器融入日常开发，并进一步探索Python协程与异步生态。
以上就是从原理到实战深度解析Python生成器与迭代器的详细内容，更多关于Python生成器与迭代器解析的资料请关注脚本之家其它相关文章！