python学习-xx10-2进程与线程【⭐】

1进程详解与应用1、概念进程程序运行的实例执行的过程它是系统调度与资源分配基本单元比如使用python运行一个.py的过程这就是一个进程当它运行的时候系统/计算机就会为它分配相应的运行空间当它运行结束就会释放这个空间场景1.一个手机应用微信抖音浏览器淘宝游戏等2.一个PC应用浏览器办公软件游戏等为什么系统能跑这些程序我们所有的东西都运行在一个硬件CPU/内存。。。上在这之上会有一个系统Windows/Linux/MacOS那在这个系统之上会管理多个进程游戏/微信。。。这些进程之间会有时间片的概念每一个执行一段时间就会切换另一个轮流执行因为切换速度较快对于人的操作来说对它们没有影响可以在一个系统性中运行多个软件并同时运行2、进行相关知识点①进程的ID程序运行的唯一标识②Python中获取进程ID方式(os.getpid()/os.getppid())③Python中进程相关模块multiprocessingPython 多进程模块导入后可进行多进程操作让程序同时跑多个任务利用多核 CPU速度更快。3、创建进程①示例可以查看出父进程的当前进程和子进程当前进程不同②相关方法args()→ 给位置参数用按顺序传kwargs{}→ 给关键字参数用按名字传它们都是给 target 函数传参用的只是传参方式不同p.run()是使用主进程即不创建进程执行函数就在一个进程中执行4、父子进程理解子进程是父进程的拷贝子进程继承父进程的所有资源最后一句代码tmp的输出值最开始定义了一个全体变量tmp10并在子进程函数中声明为全局变量在子进程中更改tmp的值但最终父进程中的tmp值还是全局变量没有被进行修改而子进程中的tmp被修改了这说明子进程在继承父进程的所有资源后沿着子进程的路径向下走了没有对父进程进行影响父进程也在执行自己的路径只是给了子进程初始资源子进程和父进程是两个进程各存各的值5、进程应用场景使用场景并行计算某个函数执行时间过长阻塞等一个例子某函数执行过程中休眠1秒执行6次使用单进程与多进程调用对比耗时单进程的执行时间结果多进程执行的结果快了接近6倍系统的执行流程是这样的当你的程序遇到阻滞或者休眠的时候系统会把这个程序挂起直到阻滞或者休眠结束被唤醒如果有多个进程则会依次挂起多个唤醒之后再依次执行后续的工作。如果并发的话多个可以同时挂起但是如果是单程的话则会在上一个唤醒之后下一个才会被挂起。6、进程间通信父进程如何与子进程之间联系在父进程中创建了子进程那么该如何让其建立联系呢当前子进程只是父进程的一个拷贝之间没有联系如果父进程有任务要发动给子进程执行那么子进程如何接收如果子进程完成了任务那么又该如何将结果返回给父进程使用工具常用方式①消息队列from multiprocessing importQueue【⭐】在创建父进程的时候可以创建消息队列那么创建子进程时他们之间可以通过消息队列建立一个联系首先可以通过Queue这个方法创建一个消息队列父进程和子进程都可以使用它父进程可以同过put方法将一条消息放在队列中子进程可以通过get方法去获取这条消息获取消息之后再进行一个相应的工作工作完成之后再通过put的方法将结果放到队列中然后父进程通过get去获取但是一般推荐消息队列是单向的即创建消息队列Q1父进程发消息子进程收消息再创建消息队列Q2子进程发消息父进程收消息正向和逆向是通过两条队列实现的不容易引起混乱可以通过qsize方法获取消息队列中的消息数量示例主进程中创建多个子进程子进程收到消息”Q“退出②共享内存from multiprocessing importValue,Array在创建父进程的时候可以创建共享内存父进程和子进程同时可访问和修改这个共享内存中的东西不一定没有子进程都会收到消息有可能一个子进程什么消息也没有收到也有可能一个子进程收到了多个消息但退出的消息每个队列都会接收到因为每个子进程收到后都会退出不参与二次分配这是目前的一个执行结果这里是按照顺序来的但实际上系统在分配资源的时候很有可能不是按照顺序来的调度到谁了谁就执行所以Test几是不确定顺序的。那么再来看一下这些队列消息都是那些进程接收的可以看出所有的消息都让一个进程接收了注意队列参数传入的位置这里是由多个进程接收的多个进程运行并不是说你想让谁运行谁就运行的这是由系统决定的那么如何能保证他们同时收到消息呢增加时间控制让单进程休眠一下7、练习统计代码行数①单进程实现基本实现思路1.遍历目录找到Python文件2.打开文件并统计文件行数3.统计行数②多进程实现实现思路执行思路扫描目录 和 统计行数 是同时在跑的不是先扫描完再统计超级关键多进程 同时运行代码里有2 种进程主进程负责扫描目录把文件路径扔进队列10 个子进程负责从队列拿路径实时统计行数一开始就启动了 10 个统计进程这 10 个进程 马上启动立刻进入等待状态主进程开始扫描目录一边扫一边往队列扔文件只要扫描到一个.py文件就立刻扔进队列。重点子进程不会等你扫描完队列里一有文件子进程马上拿出来统计。也就是说扫描目录 和 统计行数 是 同时并行执行 的3进程池4线程5线程安全与互斥锁