python

关注公众号 jb51net

关闭
首页 > 脚本专栏 > python > Python multiprocessing多线程

Python使用multiprocessing实现多进程

作者：黑鹿022

当我们工作中涉及到处理大量数据、并行计算或并发任务时,Python的multiprocessing模块是一个强大而实用的工具,在本文中,我们将探索如何使用multiprocessing模块实现多进程编程,将介绍进程池的概念和用法,需要的朋友可以参考下

一、进程概念

进程（Process）是资源分配的最小单位，它是操作系统进行资源分配和调度运行的基本单位，通俗理解：一个正在运行的程序就是一个进程。

注： 一个程序运行后至少有一个进程

二、python多进程

在python中使用多进程我们需要导入 multiprocessing 模块

import multiprocessing

实例演示：

import time

def mission1(n):
    for i in range(1, n + 1):
        print(f'第{i}次执行任务一。')
        time.sleep(0.2)


def mission2(n):
    for i in range(1, n + 1):
        print(f"第{i}次执行任务二。")
        time.sleep(0.2)

每个函数每次循环都sleep 0.2秒目的是为了之后演示进程之间是同步执行的情况，否则程序运行太快没办法体现。

我们先试着直接调用它们：

mission1(5)
mission2(5)
"""
结果：
第1次执行任务一。
第2次执行任务一。
第3次执行任务一。
第4次执行任务一。
第5次执行任务一。
第1次执行任务二。
第2次执行任务二。
第3次执行任务二。
第4次执行任务二。
第5次执行任务二。
"""

结果：先执行了mission1 再执行了mission2

if __name__ == '__main__':
		pass

if __name__ == '__main__':
    p1 = multiprocessing.Process(target=mission1,  args=(5,))
    p2 = multiprocessing.Process(target=mission2,  kwargs={'n': 5})

multiprocessing.Process(group=None, target=None, name=None, args=(), kwargs={}) ：
target—表示调用对象，即子进程要执行的任务（回调函数入口地址）
args—表示以元组的形式向子任务函数传参，元组方式传参一定要和参数的顺序保持一致
kwargs—表示以字典的方式给子任务函数传参，字典方式传参字典中的key要和参数名保持一致
name—为子进程的名称

进程运行：

p1.start()
p2.start()

import multiprocessing

import time

def mission1(n):
    for i in range(1, n + 1):
        print(f'第{i}次执行任务一。')
        time.sleep(0.2)


def mission2(n):
    for i in range(1, n + 1):
        print(f"第{i}次执行任务二。")
        time.sleep(0.2)


if __name__ == '__main__':
    p1 = multiprocessing.Process(target=mission1,  args=(5,)) # 注意单元素的元组格式
    p2 = multiprocessing.Process(target=mission2,  kwargs={'n': 5})

    p1.start()
    p2.start()
 
"""
结果：
第1次执行任务一。
第1次执行任务二。
第2次执行任务一。
第2次执行任务二。
第3次执行任务一。
第3次执行任务二。
第4次执行任务一。
第4次执行任务二。
第5次执行任务一。
第5次执行任务二。
"""

结果显示：两个函数在两个子进程中同时执行。（每次执行顺序可能有略微差别）

获取进程信息

current_process()

获取当前进程的信息：name(进程名称) 和 pid (进程ID)

def mission1(user, n):
    print(f"mission-1子进程：{multiprocessing.current_process().name}")
    print(f"mission-1子进程ID：{multiprocessing.current_process().pid}")
    for i in range(1, n + 1):
        print(f"用户{user}正在第{i}次执行任务一。")
        time.sleep(0.2)

OS 模块

可以使用os模块中的getpid()获取当前进程的ID 以及 getppid()获取当前进程的父进程ID。

import os
def mission2(user, n):
    print(f"mission-2子进程：{multiprocessing.current_process().name}")
    print(f"mission-2子进程ID：{os.getpid()}")
    print(f"mission-2子进程的父进程为：{os.getppid()}")
    for i in range(1, n + 1):
        print(f"用户{user}正在第{i}次执行任务二。")
        time.sleep(0.2)

完整代码：

import multiprocessing
import time
import os


def mission1(user, n):
    print(f"mission-1子进程：{multiprocessing.current_process().name}")
    print(f"mission-1子进程ID：{multiprocessing.current_process().pid}")
    print(f"mission-1子进程的父进程为：{os.getppid()}")
    for i in range(1, n + 1):
        print(f"用户{user}正在第{i}次执行任务一。")
        time.sleep(0.2)


def mission2(user, n):
    print(f"mission-2子进程：{multiprocessing.current_process().name}")
    print(f"mission-2子进程ID：{os.getpid()}")
    print(f"mission-2子进程的父进程为：{os.getppid()}")
    for i in range(1, n + 1):
        print(f"用户{user}正在第{i}次执行任务二。")
        time.sleep(0.2)

if __name__ == '__main__':
    print(f"主进程的ID为：{multiprocessing.current_process().pid}")
    print(f"主进程的父进程ID为：{os.getppid()}")
    print(f'--------主进程{multiprocessing.current_process().name}开始执行--------')

    p1=multiprocessing.Process(target=mission1,name='mission-1',args=('张三',5))
    p2=multiprocessing.Process(target=mission2,name='mission-2',args=('李四',5))

    p1.start()
    p2.start()
"""
主进程的ID为：7500
主进程的父进程ID为：39284
--------主进程MainProcess开始执行--------
mission-2子进程：mission-2
mission-2子进程ID：40552
mission-2子进程的父进程为：7500
用户李四正在第1次执行任务二。
mission-1子进程：mission-1
mission-1子进程ID：46296
mission-1子进程的父进程为：7500
用户张三正在第1次执行任务一。
用户李四正在第2次执行任务二。
用户张三正在第2次执行任务一。
用户李四正在第3次执行任务二。
用户张三正在第3次执行任务一。
用户李四正在第4次执行任务二。
用户张三正在第4次执行任务一。
用户李四正在第5次执行任务二。
用户张三正在第5次执行任务一。

"""

两个子进程的父ID是相同的就是MainProcess这个主进程的ID

三、进程特点

正常情况：

import multiprocessing
import time

def mission1(user, n):
    for i in range(1, n + 1):
        print(f"用户{user}正在第{i}次执行任务一。")
        time.sleep(0.1)

if __name__ == '__main__':
    print(f'--------主进程{multiprocessing.current_process().name}开始执行--------')
    p1 = multiprocessing.Process(target=mission1, name='mission-1', args=('张三', 5))
    p1.start()
    time.sleep(0.4) # 让主进程多执行一会儿
    print(f'----------主进程:{multiprocessing.current_process().name}最后一行代码执行完毕---------')

"""
--------主进程MainProcess开始执行--------
用户张三正在第1次执行任务一。
用户张三正在第2次执行任务一。
----------主进程:MainProcess最后一行代码执行完毕---------
用户张三正在第3次执行任务一。
用户张三正在第4次执行任务一。
用户张三正在第5次执行任务一。
"""

正常情况下，主进程（最后一行代码执行完了）仍然会等待子进程(p1 mission-1)执行完毕.

使用守护进程或者终止进程

import multiprocessing
import time


def mission1(user, n):
    for i in range(1, n + 1):
        print(f"用户{user}正在第{i}次执行任务一。")
        time.sleep(0.1)


if __name__ == '__main__':
    print(f'--------主进程{multiprocessing.current_process().name}开始执行--------')

    p1 = multiprocessing.Process(target=mission1, name='mission-1', args=('张三', 5))
    # 方式1: 开启子进程前提前设置守护主进程
    p1.daemon = True
    p1.start()
    time.sleep(0.4)  # 让主进程多执行一会儿
    # p1.terminate()
    print(f'----------主进程:{multiprocessing.current_process().name}最后一行代码执行完毕---------')

"""
--------主进程MainProcess开始执行--------
用户张三正在第1次执行任务一。
用户张三正在第2次执行任务一。
----------主进程:MainProcess最后一行代码执行完毕---------
"""

我们发现子进程还没执行结束就被终止了。

以上就是Python使用multiprocessing实现多进程的详细内容，更多关于Python multiprocessing多线程的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:
阅读全文