Python25_进程线程协程

Python25_进程线程协程文章目录Python25_进程线程协程[toc]目录一、进程(Process)1.1 基础概念1.2 创建进程的方式1.3 进程间通信(IPC)1.4 进程同步机制二、线程(Thread)2.1 基础概念2.2 GIL 全局解释器锁2.3 线程创建与同步2.4 线程池三、协程(Coroutine)3.1 基础概念3.2 asyncio 基础3.3 协程高级特性四、核心对比与选择4.1 三者的本质区别4.2 选择建议五、常见问题速查5.1 进程相关5.2 线程相关5.3 协程相关5.4 综合问题附录快速选择指南本文档系统梳理 Python 并发编程的三大核心机制进程(Process)、线程(Thread)、协程(Coroutine)帮助建立完整的知识体系。目录进程(Process)线程(Thread)协程(Coroutine)核心对比与选择常见问题速查一、进程(Process)1.1 基础概念Q: 什么是进程A:进程是操作系统资源分配的基本单位。每个进程拥有独立的内存空间、代码段、数据段和系统资源。importosprint(f当前进程PID:{os.getpid()})Q: 进程 vs 程序的区别A:对比项程序进程本质静态代码动态执行实例资源不占用占用独立资源生命周期永久存储创建→执行→销毁数量一份代码可同时运行多个实例1.2 创建进程的方式Q: Python 如何创建进程A:主要有三种方式# 方式1: multiprocessing 模块推荐frommultiprocessingimportProcessimportosdefworker(name):print(f子进程{name}, PID:{os.getpid()})if__name____main__:pProcess(targetworker,args(Alice,))p.start()# 启动进程p.join()# 等待进程结束# 方式2: Process 子类化classMyProcess(Process):defrun(self):print(f自定义进程, PID:{os.getpid()})# 方式3: 进程池 PoolfrommultiprocessingimportPooldeftask(n):returnn**2withPool(4)aspool:# 4个进程resultspool.map(task,range(10))1.3 进程间通信(IPC)Q: 进程间如何通信A:常用两种方式方式特点适用场景Queue先进先出线程安全生产者-消费者模式Pipe双向通信速度较快两个进程间点对点通信frommultiprocessingimportQueue,Pipe# Queue 示例-先进先出线程安全生产者-消费者模式qQueue()q.put(数据)itemq.get()# 阻塞式获取# Pipe 示例-双向通信速度较快两个进程间点对点通信parent_conn,child_connPipe()parent_conn.send(Hello)print(child_conn.recv())1.4 进程同步机制Q: 进程间如何同步A:frommultiprocessingimportLock,Semaphore# Lock: 互斥锁保证同一时间只有一个进程访问资源lockLock()lock.acquire()# 临界区代码lock.release()# Semaphore: 信号量控制同时访问的进程数量semSemaphore(3)# 最多3个进程同时访问二、线程(Thread)2.1 基础概念Q: 什么是线程A:线程是CPU调度的基本单位同一进程内的线程共享内存空间切换开销小。importthreadingprint(f当前线程:{threading.current_thread().name})Q: 线程 vs 进程区别A:对比项进程线程资源占用独立地址空间共享进程资源切换开销大需切换页表小只需切换栈通信方式需要IPC机制直接读写共享内存安全性进程间隔离更安全共享内存需同步机制创建速度慢快2.2 GIL 全局解释器锁Q: 什么是 GILA:GIL (Global Interpreter Lock) 是 CPython 的特性确保同一时刻只有一个线程执行 Python 字节码。关键点不是 Python 语言的特性是 CPython 解释器的实现多线程无法利用多核 CPU进行并行计算CPU密集型多线程适用于I/O 密集型场景网络请求、文件读写# 验证 GIL 存在importsysprint(sys._getframe().f_code.co_filename)# 查看解释器实现2.3 线程创建与同步Q: 如何创建线程A:importthreadingimportosimporttime# # 方式1: threading 模块最基础最常用# 对应 multiprocessing.Process 的直接调用方式# defworker(name):# 注意线程共享进程的 PID所以这里 os.getpid() 都是一样的print(f子线程{name}, TID:{threading.get_ident()}, PID:{os.getpid()})if__name____main__:# 创建线程对象tthreading.Thread(targetworker,args(Alice,))t.start()# 启动线程t.join()# 等待线程结束# # 方式2: Thread 子类化面向对象# 对应 multiprocessing.Process 的子类化方式# classMyThread(threading.Thread):defrun(self):# 重写 run 方法线程启动后会执行这里print(f自定义线程, TID:{threading.get_ident()})# # 方式3: 线程池 ThreadPoolExecutor (推荐)# 对应 multiprocessing.Pool# 注意在 Python 3 中推荐使用 concurrent.futures 模块来实现线程池# 它比老版的 threading.Thread 手动管理更现代接口与进程池一致。# fromconcurrent.futuresimportThreadPoolExecutordeftask(n):# 模拟耗时操作time.sleep(0.1)returnn**2# 使用上下文管理器自动管理池的创建与销毁withThreadPoolExecutor(max_workers4)asexecutor:# 最多4个线程并发# map 的用法与 Pool 完全一致resultsexecutor.map(task,range(10))# 如果需要打印结果list 会阻塞直到所有任务完成print(f线程池结果:{list(results)})Q: 线程同步机制有哪些A:# 1. Lock 互斥锁lockthreading.Lock()withlock:# 上下文管理器pass# 临界区# 2. RLock 可重入锁同一线程可多次获取rlockthreading.RLock()# 3. Semaphore 信号量semthreading.Semaphore(3)# 4. Event 事件通知eventthreading.Event()event.wait()# 等待信号event.set()# 发送信号# 5. Condition 条件变量condthreading.Condition()2.4 线程池Q: 为什么要用线程池A:减少线程创建/销毁的开销控制并发数量。fromconcurrent.futuresimportThreadPoolExecutorimporttimedeftask(n):time.sleep(1)returnn*2withThreadPoolExecutor(max_workers3)asexecutor:# submit 提交单个任务futureexecutor.submit(task,5)print(future.result())# 获取返回值# map 批量提交resultsexecutor.map(task,range(10))forrinresults:print(r)Q: ThreadPoolExecutor 参数详解A:max_workers: 最大线程数thread_name_prefix: 线程名前缀initializer: 初始化函数initargs: 初始化参数三、协程(Coroutine)3.1 基础概念Q: 什么是协程A:协程是用户态的轻量级线程由程序员控制调度而非操作系统内核调度。特点单线程内实现并发切换由程序控制非操作系统抢占极高的并发性能单核支持上万协程3.2 asyncio 基础Q: async def/await 关键字的作用A:async def: 定义协程函数await: 挂起当前协程等待异步操作完成importasyncioasyncdefhello():print(Hello)awaitasyncio.sleep(3)# 模拟异步操作(这里会被阻塞掉3s之后再继续执行)print(World)# 运行协程asyncio.run(hello())Q: 如何并发执行多个协程A:asyncio.gather: 并发执行多个协程asyncdeftask(n):awaitasyncio.sleep(1)returnn**2asyncdefmain():# 方式1: gather 收集结果resultsawaitasyncio.gather(task(1),task(2),task(3))# 方式2: Task 对象tasks[asyncio.create_task(task(i))foriinrange(5)]resultsawaitasyncio.gather(*tasks)asyncio.run(main())3.3 协程高级特性Q: asyncio 事件循环机制A:importasyncioasyncdefmain():loopasyncio.get_running_loop()# loop.create_future() # 创建 Future# loop.call_soon() # 立即执行回调# loop.call_later() # 延迟执行Q: 协程中的同步原语A:asyncio 提供了类似线程的同步工具但协程安全# asyncio.Lock() - 协程锁# asyncio.Semaphore() - 协程信号量# asyncio.Event() - 协程事件# asyncio.Condition() - 协程条件变量asyncdefsafe_access(lock):asyncwithlock:# 临界区同一时间只有一个协程执行pass四、核心对比与选择4.1 三者的本质区别特性进程 Process线程 Thread协程 Coroutine调度方操作系统内核操作系统内核用户程序/事件循环切换开销最大切换页表中等切换栈最小纯用户态数据共享独立内存空间共享进程内存单线程内共享并行能力✅ 多核并行❌ GIL限制❌ 单线程并发适用场景CPU密集型I/O密集型高并发I/OPython实现multiprocessingthreadingasyncio4.2 选择建议Q: 什么时候用什么A:CPU密集型计算-heavy → 多进程multiprocessing ↓ 利用多核CPU I/O密集型网络/文件-heavy → 多线程threading或 协程asyncio ↓ 线程适合中等并发协程适合超高并发 超高并发C10K问题 → 协程 异步I/Oasyncio aiohttp ↓ 单线程管理数万连接五、常见问题速查5.1 进程相关Q: 僵尸进程是什么如何处理A:子进程结束但父进程未回收资源。处理方式importosimportsignal# 方式1: 父进程调用 wait()os.wait()# 方式2: 信号处理自动回收signal.signal(signal.SIGCHLD,signal.SIG_IGN)Q: 守护进程(Daemon)是什么A:主进程结束时自动终止的进程。pProcess(targetworker)p.daemonTrue# 设置为守护进程p.start()5.2 线程相关Q: 死锁怎么产生的如何避免A:产生条件需同时满足互斥条件请求与保持不剥夺条件循环等待避免方法按固定顺序获取锁使用超时机制尽量使用with语句管理锁Q: 线程不安全的表现A:importthreading counter0defincrement():globalcounter# 非原子操作读取→修改→写入tempcounter1# 可能被其他线程打断countertemp# 解决加锁或使用原子操作如 实际不是原子操作需用 Lock5.3 协程相关Q: await 后面可以跟什么A:必须是Awaitable对象另一个协程async defasyncio.Futureasyncio.Task异步I/O操作如 asyncio.sleepQ: 协程中遇到同步阻塞代码怎么办A:使用loop.run_in_executor()将同步代码放到线程池执行importasyncioimporttimefromconcurrent.futuresimportThreadPoolExecutor executorThreadPoolExecutor()asyncdefblocking_io():# 将同步阻塞代码放到线程池执行awaitloop.run_in_executor(None,time.sleep,2)5.4 综合问题Q: Python 如何实现真正的并行A:只有多进程能实现真正并行利用多核因为 GIL 的存在。frommultiprocessingimportPooldefcpu_task(n):# 模拟CPU密集型计算count0foriinrange(10**7):count1returncount# 多进程并行计算withPool(4)aspool:# 4核并行resultspool.map(cpu_task,range(10))Q: 并发编程中的最佳实践A:显式优于隐式明确控制并发逻辑小锁范围锁的粒度尽量小避免共享状态使用消息传递替代共享内存防御性编程总是考虑异常和超时资源清理使用上下文管理器确保释放附录快速选择指南场景推荐方案关键模块大量数值计算多进程multiprocessing.PoolWeb 请求爬虫协程 aiohttpasyncio, aiohttp文件批量处理线程池ThreadPoolExecutor实时数据处理多线程 队列queue, threading微服务架构多进程Process Queue游戏服务器多进程/多线程混合视具体模块而定