Python 中的并发 —— 多进程

摘要本文介绍了Python中的多进程编程方法重点对比了多进程与多线程的差异。多进程通过利用多个CPU核心实现真正并行能有效规避Python的GIL限制。文章详细讲解了三种启动进程的方式Fork/Spawn/Forkserver以及守护进程、进程终止和进程标识等核心概念。同时介绍了通过继承Process类创建自定义进程以及使用Pool类实现进程池管理的方法。通过代码示例展示了进程创建、执行和结果获取的完整流程为Python开发者提供了实用的多进程编程指南。目录Python 中的并发 —— 多进程多进程Multiprocessing多线程Multithreading多进程与多道程序设计的区别消除全局解释器锁GIL的影响Python 中启动进程的三种方式基于 Fork 创建进程示例使用 fork () 创建子进程示例跨平台的子进程创建方式基于 Spawn 创建进程示例Spawn 创建多个进程基于 Forkserver 创建进程Python 中的守护进程示例创建守护进程Python 中终止进程示例终止子进程Python 中标识当前进程示例获取主进程和子进程的 PID基于子类创建进程子类创建进程的注意事项示例继承 Process 类创建进程Python 多进程模块的 Pool 类核心方法说明示例进程池的使用Python 中的并发 —— 多进程本章我们将重点对比多进程与多线程的差异同时讲解 Python 中多进程的核心使用方法。多进程Multiprocessing多进程指在单个计算机系统中使用两个或多个 CPU 单元它是充分利用计算机硬件性能的最优方式能最大化发挥系统中所有 CPU 核心的算力。多线程Multithreading多线程是 CPU 通过并发执行多个线程来管理操作系统资源的能力其核心思想是将一个进程拆分为多个线程以此实现并行处理。多进程与多道程序设计的区别下表列出了二者的核心差异表格多进程Multiprocessing多道程序设计Multiprogramming由多个 CPU同时处理多个进程单个 CPU 下将多个程序保存在主存并并发执行利用多个 CPU资源仅利用单个 CPU资源支持并行处理依靠上下文切换实现多任务任务处理耗时更短任务处理耗时更长能高效利用计算机系统的各类设备资源利用率低于多进程系统部署成本通常更高系统部署成本更低消除全局解释器锁GIL的影响在开发 Python 并发应用时存在一个核心限制 ——全局解释器锁GIL。GIL 会阻止 Python 程序利用 CPU 的多个核心因此严格来说 Python 中并不存在 “真正的线程”。GIL 本质是一个互斥锁用于保证线程安全它限制了同一时间只有一个线程能执行 Python 代码任何线程要执行代码必须先获取这把锁。而多进程机制能有效绕开 GIL 的限制原因如下多进程会创建多个独立的进程每个进程都拥有自己的 Python 解释器和 GIL 实例因此程序中不同进程的字节码可以在同一时间无限制地并行执行。Python 中启动进程的三种方式Python 的multiprocessing模块提供了三种启动进程的方法适用于不同场景和平台Fork分支Spawn生成Forkserver分支服务器基于 Fork 创建进程Fork是 UNIX 系统的标准命令用于创建名为子进程的新进程子进程会与父进程并发运行且完全继承父进程的所有资源和属性。创建 Fork 进程时会用到以下系统调用fork()由操作系统内核实现的系统调用用于创建一个与父进程完全相同的子进程副本getpid()返回当前调用进程的进程 IDPID用于标识唯一进程。示例使用 fork () 创建子进程注意os.fork仅在基于 UNIX/Linux 的系统中可用。# main.py from multiprocessing import Process import os def child(): n os.fork() if n 0: print(父进程的PID是: , os.getpid()) else: print(子进程的PID是: , os.getpid()) child()输出结果plaintext父进程的PID是: 178462 子进程的PID是: 178463示例跨平台的子进程创建方式以下脚本可在所有平台运行实现子进程创建并获取父子进程的 PID# main.py from multiprocessing import Process import os def child(): print(子进程的PID是: , os.getpid()) if __name__ __main__: print(父进程的PID是: , os.getpid()) # 创建子进程对象 p Process(targetchild) # 启动子进程 p.start()输出结果plaintext父进程的PID是: 25989 子进程的PID是: 25990基于 Spawn 创建进程Spawn意为 “生成”指由父进程创建一个全新的子进程父进程可选择异步继续执行或等待子进程执行完毕后再继续。Spawn 创建进程的步骤导入multiprocessing模块创建进程对象调用start()方法启动进程调用join()方法让父进程等待子进程执行完成并退出。示例Spawn 创建多个进程以下脚本实现生成 3 个独立的子进程import multiprocessing def spawn_process(i): print(这是进程: %s % i) return if __name__ __main__: Process_jobs [] for i in range(3): p multiprocessing.Process(targetspawn_process, args(i,)) Process_jobs.append(p) p.start() p.join()输出结果plaintext这是进程: 0 这是进程: 1 这是进程: 2基于 Forkserver 创建进程Forkserver分支服务器机制仅在部分支持 Unix 管道传递文件描述符的 UNIX 平台可用其工作原理如下启用 Forkserver 机制时会先实例化一个服务器进程该服务器进程专门接收创建新进程的指令并处理所有相关请求Python 主程序需创建新进程时向 Forkserver 发送请求由服务器进程完成创建新进程创建后即可在主程序中调用使用。Python 中的守护进程Python 的multiprocessing模块通过daemonic参数支持创建守护进程守护进程是在后台运行的进程其设计理念与守护线程一致。要让进程在后台运行只需将daemonic标志设为True。守护进程的生命周期与主进程绑定主进程运行时守护进程持续执行主进程结束或被终止时守护进程会自动终止无论其是否执行完成。示例创建守护进程本示例沿用守护线程的逻辑仅将模块从multithreading替换为multiprocessing并设置daemonicTrue输出结果会与守护线程有明显差异# main.py import multiprocessing import time def nondaemonProcess(): print(启动非守护进程) time.sleep(8) print(结束非守护进程) def daemonProcess(): while True: print(Hello) time.sleep(2) if __name__ __main__: nondaemonProcess multiprocessing.Process(targetnondaemonProcess) daemonProcess multiprocessing.Process(targetdaemonProcess) # 设置为守护进程 daemonProcess.daemon True # 非守护进程默认值 nondaemonProcess.daemon False daemonProcess.start() nondaemonProcess.start()输出结果plaintext启动非守护进程 结束非守护进程结果解析与守护线程的输出不同本示例中守护进程未打印任何内容。原因是主进程会等待非守护进程执行完成后直接退出守护进程也随之自动终止避免了后台进程持续运行的问题。Python 中终止进程使用terminate()方法可立即强制杀死 / 终止进程该方法可在子进程执行完成前直接终止其运行。示例终止子进程# main.py import multiprocessing import time def Child_process(): print(启动子进程函数) time.sleep(5) print(完成子进程函数) P multiprocessing.Process(targetChild_process) P.start() print(主进程即将终止开始终止子进程) print(终止子进程中...) P.terminate() print(子进程已成功终止)输出结果plaintext主进程即将终止开始终止子进程 终止子进程中... 子进程已成功终止结果解析子进程函数本应休眠 5 秒后打印内容但terminate()方法直接终止了它因此无相关输出说明子进程被成功终止。Python 中标识当前进程操作系统中每个进程都有唯一的 ** 进程 IDPID** 作为标识在 Python 中可通过以下代码获取当前进程的 PIDimport multiprocessing print(multiprocessing.current_process().pid)示例获取主进程和子进程的 PID# main.py import multiprocessing import time def Child_process(): print(子进程的PID是: {}.format(multiprocessing.current_process().pid)) if __name__ __main__: print(主进程的PID是: {}.format(multiprocessing.current_process().pid)) P multiprocessing.Process(targetChild_process) P.start() P.join()输出结果plaintext主进程的PID是: 9401 子进程的PID是: 9402基于子类创建进程与通过继承threading.Thread创建线程的方式类似Python 也支持通过继承multiprocessing.Process类自定义子类来创建进程。子类创建进程的注意事项定义Process类的新子类重写构造方法__init__(self [,args])可选用于自定义初始化参数必须重写run(self [,args])方法该方法是进程的核心执行逻辑调用start()方法启动进程start()会自动调用重写后的run()方法。示例继承 Process 类创建进程# main.py import multiprocessing class MyProcess(multiprocessing.Process): def run(self): print(在进程中调用run方法: %s % self.name) return if __name__ __main__: jobs [] for i in range(5): P MyProcess() jobs.append(P) P.start() P.join()输出结果plaintext在进程中调用run方法: MyProcess-1 在进程中调用run方法: MyProcess-2 在进程中调用run方法: MyProcess-3 在进程中调用run方法: MyProcess-4 在进程中调用run方法: MyProcess-5Python 多进程模块的 Pool 类对于 Python 应用中的简单并行处理任务multiprocessing模块提供的Pool类是最优选择。Pool类用于创建进程池通过预创建多个子进程避免频繁创建 / 销毁进程的性能开销其核心方法如下核心方法说明表格方法功能说明apply()与ThreadPoolExecutor.submit()类似阻塞式执行任务直到获取结果后才继续apply_async()异步非阻塞方法适合任务并行执行提交任务后不阻塞主线程直到所有子进程执行完毕map()与内置map()函数功能一致阻塞式执行将可迭代数据切分为多个分片作为独立任务提交到进程池map_async()是map()的异步版本与apply_async()对应apply()的逻辑一致返回结果对象结果就绪后可触发回调函数且回调函数必须立即执行否则会阻塞结果处理线程示例进程池的使用以下示例实现进程池的并行计算通过multiprocessing.Pool调用square()函数计算数字的平方利用pool.map()提交任务并获取结果# main.py import multiprocessing def square(n): result n * n return result if __name__ __main__: # 待计算的输入数据0-4的整数列表 inputs list(range(5)) # 创建包含4个进程的进程池 pool multiprocessing.Pool(processes4) # 提交任务到进程池 pool_outputs pool.map(square, inputs) # 关闭进程池不再接收新任务 pool.close() # 等待所有子进程执行完成 pool.join() # 打印结果 print(进程池计算结果: , pool_outputs)输出结果plaintext进程池计算结果: [0, 1, 4, 9, 16]