python

关注公众号 jb51net

关闭
首页 > 脚本专栏 > python > Python线程池ThreadPoolExecutor使用

Python线程池ThreadPoolExecutor使用方式

作者:AllardZhao

这篇文章主要介绍了Python线程池ThreadPoolExecutor使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教

如何使用线程池?    

实际案例

我们之前实现了一个多线程web视频监控服务器,我们需要对请求连接数做限制,以防止恶意用户发起大量连接而导致服务器创建大量线程,最终因资源耗尽而瘫痪。

可以使用线程池,替代原来的每次请求创建线程。

解决方案

python3中有线程池实现,使用标准库中concurrent.futures下的ThreadPoolExecutor,对象的submit和map方法可以用来启动线程池中线程执行任务。

线程池介绍:

线程池就是提前创建好某一固定数量的线程放到池子里面,需要使用的时候去这个池子中取一个线程出来让它执行任务,执行完以后再归还给线程池以便后面的任务继续使用线程。

代码演示       

多线程池的简单使用

from concurrent.futures import ThreadPoolExecutor
 
# 创建Executor对象,指定线程池中线程数
executor = ThreadPoolExecutor(3)
 
 
# 使用线程池中线程执行任务
# 定义任务函数a的b次方
def f(a, b):
    print('f', a, b)
    return a ** b
 
 
# 调用线程池中线程去执行函数
future = executor.submit(f, 2, 3)
# 使用线程池中一个线程运行这个函数,这个函数运行完以后
# 这个线程又会归还到线程池中去
 
# 使用result得到函数的运行结果
print(future.result())
# 如果函数的运行事件比较长,在调用result的时候他还没有执行完,
# 这个result就会被阻塞到这里,直到这个函数运行完
 
 
# 和python内置的map方法类似,只不过他在多个线程上同时调用f
# 在第1个线程计算2的4次方,第2个线程计算3的5次方,第3个线程计算5的6次方
executor.map(f, [2, 3, 5], [4, 5, 6])
 
'''
假设当前线程池中所有线程都在忙碌,一直在运行函数并且没有返回,
我们再提交一个任务的时候,就会出现pending,
等待线程池中有一个空闲线程来运行它。
'''
import time
 
 
def f2(a, b):
    print('f2', a, b)
    time.sleep(10)
    # 等待10秒再返回
    return a ** b
 
 
# 运行以下语句可以到,可以看到首先打印的'f2 2 4'、'f2 3 5'、'f2 5 6'
# 过了一会才把'f2 6 7'和'f2 7 8'打印出来,直到前面退出了他才得到运行权利
executor.map(f2, [2, 3, 5, 6, 7], [4, 5, 6, 7, 8])

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

您可能感兴趣的文章:
阅读全文