C语言线程池

多线程的概念线程是操作系统进行CPU调度的一个基本单位。多线程是一个进程内多个任务同时并发执行的技术。每个线程都共享进程的资源但是每个线程都有独立的执行栈和程序的计数器。我们以做三道菜品的任务来描述一下单线程和多线程工作过程的区别最后再总结它的优点和使用场景。单线程任务一个厨师在干活程序开始》做菜品1》上菜品1》做菜品2》上菜品2》做菜品3》上菜品3》任务完成在单线程任务运行过程中只有前一个任务完成了才能继续执行下一个任务并且顺序不能打乱。多线程任务多个厨师在干活》 厨师1做菜品1》厨师1上菜品1程序开始 》 厨师2做菜品2》 厨师2上菜品2 》任务完成》 厨师3做菜品3》 厨师3上菜品3多线程模式中可以创建三个厨师同时工作同时做三道菜。如果是在多核CPU下就是三核心同时工作理论上来说比单线程要快3倍提高了CPU的利用率。多线程的优点【1】可以充分利用多核CPU的效率提高了CPU的利用率【2】可以改善响应时间避免主线程被耗时的任务阻塞。多线程应用场景【1】网络服务器网络层接收到数据后直接丢给另一个线程处理避免在处理耗时任务时阻塞太久造成延时。【2】数据处理与计算可以将大数据做分片多线程并行处理。【3】桌面与移动应用主线程负责渲染UI工作线程处理后台计算避免线程卡顿。【4】游戏开发物理计算、AI决策、动画更新、声音处理等多个任务使用多线程批量处理。线程池概念线程池是一种线程复用技术它先将多个线程创建好预先将线程放在池子里。当有任务需要处理时从池子里取出空闲的线程执行任务任务执行完不销毁线程而是返回池中等待下一个任务。线程池的优点【1】线程的创建需要申请操作系统资源线程的销毁需要释放操作系统资源。线程池避免了线程需要频繁的创建和销毁。就好比刚刚的厨师我们让他做完一个任务后就解聘它了有新任务时又重新招聘一个厨师这样频繁的解聘和招聘厨师成本很大。【2】线程池可以固定线程的数量避免创建大量的线程导致系统资源耗尽。【3】线程池使用时不需要创建线程响应时间更快。【4】任务与线程分离代码解耦。线程池的核心组件线程队列存放空闲线程的“休息区”任务队列待处理任务的“等待区”FIFO线程管理器负责创建、销毁、监控线程任务调度器决定哪个线程执行哪个任务本案例随机分配不需要该结构线程池工作流程创建线程放入线程池 ↓ 线程空闲时挂起等待任务 ↓ 任务到达 ↓ 任务队列是否满 → 是 → 执行拒绝策略 ↓ 否 放入任务队列 ↓ 有空闲线程吗 → 是 → 分配线程执行 ↓ 否 任务在队列中等待 ↓ 线程执行任务 ↓ 任务完成线程返回池中 ↓ 空闲时间 存活时间 → 是 → 销毁线程收缩池 ↓ 否 等待下一个任务基础接口函数创建线程pthread_t threadid; pthread_create(threadid,NULL,callbackfunction,arg);互斥锁pthread_mutex_t mutex; //创建锁 pthread_mutex_inti(mutex,NULL); //初始化锁 pthread_mutex_lock(mutex); //获取锁 pthread_mutex_unlock(mutex); //释放锁 pthread_mutex_destory(mutex); //销毁锁自旋锁pthread_spinlock_t spinlock; //创建锁 pthread_spinlock_init(spinlock,PTHREAD_PROCESS_SHARED); //初始化锁 pthread_spinlock_lock(spinlock); //获取锁 pthread_spinlock_unlock(spinlock); //释放锁核心区别对比特性自旋锁 (Spinlock)互斥锁 (Mutex)等待方式循环检查忙等待阻塞等待睡眠CPU占用高持续占用CPU低释放CPU适用场景锁持有时间极短纳秒/微秒级锁持有时间较长毫秒级或更长开销上下文切换开销小上下文切换开销大实现原子操作/忙等待操作系统内核支持死锁可能同线程内可能更常见锁的内容较少的时候用自旋锁上下文切换开销小。锁的内容较多的时候用互斥锁主要是看线程循环等待的消耗更大还是线程切换上下文的消耗更大。条件变量pthread_cond_t threadCon; pthread_cond_init(threadCon,NULL); pthread_cond_signal(threadCon); //唤醒一个线程 pthread_cond_broatcast(threadCon);//广播通知所有的条件等待变量结束等待唤醒所有的线程 //当前线程进入阻塞状态等待条件变量 cond 被唤醒 , 释放互斥锁 pthread_cond_wait(worker-manager-cond,worker-manager-mutex);线程池设计任务队列结构typedef struct nTask{ void (*task_func)(struct nTask* arg); void *user_data; struct nTask* prev; struct nTask* next; }Task工作队列结构struct nWorker{ struct nManager* manager; pthread_t threadid; int terminate; //是否退出的标识 struct nWorker* prev; struct nWorker* next; };线程管理器结构typedef struct nManager{ struct nTask* tasks; //指向任务队列的首节点 struct nWorker* works; //指向工作队列的首节点 pthread_mutex_t mutex; //锁 pthread_cond_t cond; //条件变量 }ThreadPool;代码#include stdio.h #include string.h #include stdlib.h #include pthread.h #define perror printf #define INFO printf typedef struct nTask{ void (*task_func)(struct nTask* arg); void *user_data; struct nTask* prev; struct nTask* next; }Task; struct nWorker{ struct nManager* manager; pthread_t threadid; int terminate; //是否退出的标识 struct nWorker* prev; struct nWorker* next; }; typedef struct nManager{ struct nTask* tasks; //指向任务队列的首节点 struct nWorker* works; //指向工作队列的首节点 pthread_mutex_t mutex; //锁 pthread_cond_t cond; //条件变量 } ThreadPool; #define LIST_INSERT(iter,list) do{ \ iter-prevNULL; \ iter-next(list); \ if((list)!NULL) (list)-previter; \ (list)iter; \ }while(0) #define LIST_REMOVE(iter,list) do{ \ if((iter)-prev!NULL) (iter)-prev-next(iter)-next; \ if((iter)-next!NULL) (iter)-next-prev(iter)-prev; \ if((list)(iter)) (list)(iter)-next; \ (iter)-prev(iter)-nextNULL; \ }while(0) //线程回调函数,全局本文件有效 //回调函数不等于函数 static void* nThreadPooLCallBack(void* arg) { struct nWorker* worker(struct nWorker*)arg; while(1){ pthread_mutex_lock(worker-manager-mutex); //判断tasks是否为空为空就进入等待状态 while(worker-manager-tasksNULL){ if(worker-terminate) break; pthread_cond_wait(worker-manager-cond,worker-manager-mutex); } if(worker-terminate) { pthread_mutex_unlock(worker-manager-mutex); break; } //tasks不为空就拿出一个任务开始分配线程执行 struct nTask* taskworker-manager-tasks; //获取首节点 //把首节点移除出来tasks指向他的后一个节点 LIST_REMOVE(task,worker-manager-tasks); //开始分配线程开始执行任务 task-task_func(task); pthread_mutex_unlock(worker-manager-mutex); } free(worker); workerNULL; } //初始化线程池 int nThreadPooLCreate(ThreadPool* pool,int nWorkers){ if(!pool||nWorkers1) return -1; memset(pool,0,sizeof(ThreadPool)); pthread_cond_t blank_condPTHREAD_COND_INITIALIZER; memcpy(pool-cond,blank_cond,sizeof(pthread_cond_t)); //memove pthread_mutex_init(pool-mutex,NULL); int i0; for(i0;inWorkers;i){ struct nWorker* worker(struct nWorker*)malloc(sizeof(struct nWorker)); if(!worker) { INFO(malloc fail!\n); return -2; } memset(worker,0,sizeof(struct nWorker)); worker-managerpool; int retpthread_create(worker-threadid,NULL,nThreadPooLCallBack,worker); if(ret){ free(worker); workerNULL; INFO(pthread_create fail!\n); return -3; } LIST_INSERT(worker,pool-works); } return 0; } //销毁线程池 int nThreadPooLDestory(ThreadPool* pool,int nWorker){ struct nWorker* workerNULL; for(workerpool-works;worker!NULL;workerworker-next){ worker-terminate1; } pthread_mutex_lock(pool-mutex); pthread_cond_broadcast(pool-cond);//广播通知所有的条件等待变量结束等待唤醒所有的线程 pthread_mutex_unlock(pool-mutex); pool-worksNULL; pool-tasksNULL; } //往线程池push一个任务 int nThreadPooLPushTask(struct nManager* pool,Task* task){ //思路往任务池里面丢一个任务然后发送一个条件变量,唤醒一个线程通知works队列开始工作 pthread_mutex_lock(pool-mutex); LIST_INSERT(task,pool-tasks); pthread_cond_signal(pool-cond); pthread_mutex_unlock(pool-mutex); } #define THREAD_INIT_COUNT 20 #define TASK_INIT_SIZE 1000 //任务函数 void task_entry(struct nTask* arg){ if(!arg) return; int idx*((int*)(arg-user_data)); INFO(task end:%d\n,idx); free(arg); return; } int main(){ //创建一个线程池 ThreadPool pool{0}; nThreadPooLCreate(pool,THREAD_INIT_COUNT); int i0; for(i0;iTASK_INIT_SIZE;i){ struct nTask* task(struct nTask*)malloc(sizeof(struct nTask)); if(!task) { perror(creat task fail ! \n); return -2; } memset(task,0,sizeof(struct nTask)); task-task_functask_entry; task-user_datamalloc(sizeof(int)); *(int*)task-user_datai; nThreadPooLPushTask(pool,task); } getchar(); return 0; }编译命令gcc -o threadPool threadPool.c -lpthread推荐一个零声教育学习教程个人觉得老师讲得不错分享给大家[LinuxNginxZeroMQMySQLRedisfastdfsMongoDBZK流媒体CDNP2PK8SDockerTCP/IP协程DPDK等技术内容点击立即学习:链接