python多进程并发的实现示例
作者：深度学习界扛把子
python中的多线程无法利用多核优势,如果想要充分地使用多核CPU的资源,在python中大部分情况需要使用多进程,本文主要介绍了python多进程并发的实现示例,感兴趣的可以了解一下
虚假的并发，当你调用future.result()时，它会阻塞当前线程，直到任务完成并返回结果。因此，当你在循环中调用future.result()时，程序会按顺序执行任务，而不是并发执行。
import concurrent.futures
import time
# 创建一个进程池
process_pool = concurrent.futures.ProcessPoolExecutor(max_workers=8)
# 定义任务函数
def task_function(task_id):
print(f"Task {task_id} started")
# 执行任务的逻辑
time.sleep(1)
print(f"Task {task_id} completed")
return 1
# 提交任务到进程池
def submit_task(task_id):
future = process_pool.submit(task_function, task_id)
return future
# 示例任务列表
task_list = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
result = []
# 提交任务到进程池，并等待任务完成
futures = []
t1 =time.time()
for task_id in task_list:
future = submit_task(task_id)
futures.append(future)
# result.append(future.result())
# 等待进程池中的任务完成
concurrent.futures.wait(futures)
# 关闭进程池
t2 = time.time()
print(t2-t1,"s")
process_pool.shutdown()
print(result)
如果你想要实现并发执行任务，并且在所有任务完成后获取结果，可以使用concurrent.futures.as_completed()方法来实现。这个方法返回一个迭代器，可以按照任务完成的顺序获取结果。
import concurrent.futures
import time
# 创建一个进程池
process_pool = concurrent.futures.ProcessPoolExecutor(max_workers=8)
# 定义任务函数
def task_function(task_id):
print(f"Task {task_id} started")
# 执行任务的逻辑
time.sleep(1)
print(f"Task {task_id} completed")
return task_id
# 提交任务到进程池
def submit_task(task_id):
future = process_pool.submit(task_function, task_id)
return future
# 示例任务列表
task_list = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
result = []
# 提交任务到进程池，并等待任务完成
futures = []
t1 = time.time()
for task_id in task_list:
future = submit_task(task_id)
futures.append(future)
# 获取任务结果
for future in concurrent.futures.as_completed(futures):
result.append(future.result())
t2 = time.time()
print(t2 - t1, "s")
print(result)
# 关闭进程池
process_pool.shutdown()
到此这篇关于python多进程并发的实现示例的文章就介绍到这了,更多相关python多进程并发内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！