Gunicorn性能优化:提升Python Web应用的服务效率
在Python Web开发中,Gunicorn作为WSGI HTTP服务器,常常作为Web应用(如Django或Flask)与反向代理或负载均衡器之间的桥梁。为了充分发挥其性能,本文将提供一些实用的Gunicorn配置建议。
Gunicorn架构
Gunicorn采用了预派生(pre-fork)模型,这意味着它在处理任何HTTP请求之前会创建子进程。主进程负责监控并保持工作进程的数量稳定。如果工作进程异常退出,主进程会重新启动新的工作进程。
性能优化要点
1. 工作进程(Workers)
- 对于CPU密集型应用,增加工作进程数是关键。
- 推荐的工作进程数公式是:(2 * CPU核心数) + 1。
- 例如,在双核CPU的机器上,建议设置5个工作进程。
gunicorn --workers=5 main:app

Gunicorn 具有默认的工作类(同步sync)
- 线程(Threads)
- 对于I/O密集型应用,使用线程可以提高效率。
- 每个工作进程可以拥有多个线程,共享内存空间。
- 线程的使用需要将工作类设置为gthread。
gunicorn --workers=5 --threads=2 main:app

上面的命令与以下命令相同:
gunicorn --workers=5 --threads=2 --worker-class=gthread main:app
最大并发请求数为workers * threads,上述情况下是10。
当使用工作进程和线程时,建议的最大并发请求数仍然是(2*CPU)+1。
因此,如果使用的是四核(4个CPU)的计算机,并且希望同时使用工作进程和线程,可以使用3个工作进程和3个线程,以获得9个最大并发请求。
gunicorn --workers=3 --threads=3 main:app
- 伪线程”(Pseudo-threads)
- 对于异步编程,如gevent或asyncio,Gunicorn通过设置特定的工作进程类来支持。
- 例如,在单核机器上使用gevent:
gunicorn --worker-class=gevent --worker-connections=1000 --workers=3 main:app
worker-connections 是 gevent 工作进程类的特定设置。
(2*CPU)+1 仍然是建议的工作进程数量,因为只有1个核心,将使用3个工作进程。
在这种情况下,最大并发请求数是3000(3个工作进程 * 每个工作进程的1000个连接)。
并发与并行
理解并发(Concurrency)与并行(Parallelism)的区别是优化性能的关键。在Python中,线程和“伪线程”是并发执行的手段,但不是并行;而工作进程则既是并发的也是并行的。
总结
- 对于I/O密集型应用,使用“伪线程”可获得最佳性能。
- 对于CPU密集型应用,增加工作进程数是关键。
- 如果内存使用是瓶颈,考虑使用线程。
- 不确定时,从基本配置开始,逐步调整。
此外,还有其他优化建议,包括调整worker类、超时时间、保持活动连接、worker类参数、使用反向代理、监控和扩展、优化应用代码、升级Gunicorn和合理分配资源:
-
调整 Worker 类:
- Gunicorn 支持不同的 worker 类。默认是同步的,但为了更好地支持异步框架,考虑使用异步的 worker,如
gevent或eventlet。 - 示例使用 gevent:
gunicorn -k gevent -w 4 myapp:app
- Gunicorn 支持不同的 worker 类。默认是同步的,但为了更好地支持异步框架,考虑使用异步的 worker,如
-
Worker 超时:
- 为 worker 进程设置合理的超时时间。如果 worker 在指定的超时时间内没有响应,Gunicorn 将重新启动它。
- 示例:
gunicorn --timeout 120 myapp:app
-
保持活动连接:
- 调整
keepalive选项以控制 Gunicorn 在 Keep-Alive HTTP 连接上等待下一个请求的时间。 - 示例:
gunicorn --keep-alive 5 myapp:app
- 调整
-
调整 Worker 类参数:
- 如果使用异步的 worker 类,如
gevent,考虑调整参数,如 worker 连接的数量。 - 示例:
gunicorn -k gevent --worker-connections 1000 -w 4 myapp:app
- 如果使用异步的 worker 类,如
-
使用反向代理:
- 将 Gunicorn 部署在反向代理(例如 Nginx 或 Apache)后面,以处理诸如 SSL 终止、静态文件服务和负载均衡等任务。
-
监控和扩展:
- 使用
gunicorn-stats等工具监控 Gunicorn,或将其集成到监控解决方案中。 - 考虑通过在负载均衡器后运行 Gunicorn 来进行水平扩展。
- 使用
-
优化应用代码:
- 优化应用代码以高效处理请求。分析和优化应用代码可以显著影响整体性能。
-
升级 Gunicorn:
- 确保使用最新版本的 Gunicorn,以享受性能改进和错误修复的好处。
-
资源分配:
- 为运行 Gunicorn 的机器分配足够的资源(CPU、内存),考虑应用的需求和流量。
参考文献
- https://docs.gunicorn.org/en/latest/design.html
- https://yhbt.net/unicorn/DESIGN.html
- https://tomayko.com/blog/2009/unicorn-is-unix
- https://stackoverflow.com/questions/25834333/what-exactly-is-a-pre-fork-web-server-model
- https://medium.com/building-the-system/gunicorn-3-means-of-concurrency-efbb547674b7
- https://stackoverflow.com/questions/38425620/gunicorn-workers-and-threads
相关文章:
Gunicorn性能优化:提升Python Web应用的服务效率
在Python Web开发中,Gunicorn作为WSGI HTTP服务器,常常作为Web应用(如Django或Flask)与反向代理或负载均衡器之间的桥梁。为了充分发挥其性能,本文将提供一些实用的Gunicorn配置建议。 Gunicorn架构 Gunicorn采用了预…...
如何使用ssh key免密码登录服务器?
以下是使用密钥对免密码登录服务器的具体指令操作步骤: 步骤一:生成密钥对 在本地电脑上打开终端或命令提示符,运行以下命令生成密钥对: ssh-keygen -t rsa -C "your_emailexample.com" 该命令会提示您选择保存密钥…...
macos Android平台签名证书(.keystore)
一、申请appid的使用说明(有appid的请忽略申请appid) 创建应用 申请的appid在源码视图填写后会自动生成一个对应的包名 ⚠️注意:申请appid的时候应用名称和项目名称保持一致。 二、 Android如何使用自用证书进行打包 1.找到安装jdk的路径…...
Kotlin快速入门系列2
Kotlin的基本数据类型 Kotlin 的基本数值类型包括 Byte、Short、Int、Long、Float、Double 等。不同于 Java 的是,字符不属于数值类型,是一个独立的数据类型。 Java和kotlin数据类型对照如下: Java基本数据类型 Kotlin对象数据类型 数据类…...
单片机之keil软件环境搭建
简介 Keil提供了包括C编译器、宏汇编、链接器、库管理和一个功能强大的仿真调试器等在内的完整开发方案,通过一个集成开发环境(μVision)将这些部分组合在一起。 目前软件对中文的支持不友好,不建议安装网上的一些汉化包…...
数学公式OCR识别php 对接mathpix api 使用公式编译器
数学公式OCR识别php 对接mathpix api 一、注册账号官网网址:https://mathpix.com 二、该产品支持多端使用注意说明(每月10次) 三、api 对接第一步创建create keyphp对接api这里先封装两个请求函数,get 和post ,通过官方…...
MySQL原理(二)存储引擎(1)概述
一、存储引擎介绍 1、概念: (1)MySQL中的数据用各种不下同的技术存储在文件中,每一种技术都使用不同的存储机制、索引技巧、锁定水平并最终提供不同的功能和能力,这些不同的技术以及配套的功能在MySQL中称为存储引擎…...
微信小程序canvas画布如何解决在for循环绘制图像显示不全的问题
如下所示,在for循环中绘制图像,由于onload函数加载图像是异步执行,会导致显示不全所有图片的问题。 for(var a0;a<2;a){ var img canvas.createImage()img.src product_image[items[a]]img.onload ()>{ctx.drawImage(el,0,h,i…...
Python计算机二级/Python期末考试 刷题(一)
收集了一些经典Python计算机二级和Python期末考试题库 整理不易,大家点赞收藏支持一下 祝大家计算机二级和期末考试都高分过 目录 一、填空 二、选择 三、程序设计 一、填空 1.序列元素的编号称为索引,索引值从【1】开始,访问序列元素时将…...
最新GPT4.0使用教程,AI绘画-Midjourney绘画,GPT语音对话使用,DALL-E3文生图+思维导图一站式解决
一、前言 ChatGPT3.5、GPT4.0、GPT语音对话、Midjourney绘画,文档对话总结DALL-E3文生图,相信对大家应该不感到陌生吧?简单来说,GPT-4技术比之前的GPT-3.5相对来说更加智能,会根据用户的要求生成多种内容甚至也可以和…...
【JavaScript】两种方法实现继承
JS继承-ES6-基于 class 实现继承 mdn 类 阮一峰 ES6-class mdn-super ES6中推出了class类,是用来创建对象的模板。 class可以看作是一个语法糖,它的绝大部分功能,ES5 都可以做到,新的class写法只是让对象原型的写法更加清晰、更像面向对象编程的语法而已…...
张维迎《博弈与社会》笔记(3)导论:一些经济学的基础知识
这篇的主要内容介绍了经济学的基础知识吧。 经济学、社会学、心理学的区别 经济学与社会学的区别与共同点 经济学一般是从个人的行为出发解释社会现象(from micro to macro)。社会学的传统方法则是从社会的角度来解释个人的行为(from macro…...
随机生成UI不重叠
注释 简单的随机生成UI且不发生重叠,可以修改算法进行更深入的探索 using System.Collections; using System.Collections.Generic; using UnityEngine;public class CellInfo {/// <summary>/// 物体位置/// </summary>public Vector2 pos;/// <s…...
【C/C++】C/C++编程——第一个 C++ 程序:HelloWorld
第一个 C 程序:HelloWorld 大家好,我是 shopeeai,也可以叫我虾皮,中科大菜鸟研究生。昨天我们成功搭建好了 C 的开发环境,今天我们来介绍一下第一个 C 程序,打印一个"hello world"。首先我们先贴一下示例代…...
扩散视觉反事实算法 DVC:对抗性鲁棒分类器 + 扩散模型,跨模态对比原始的 fundus 图 VS 生成的 OCT 图
对抗性鲁棒分类器 扩散模型:为 正常的 fundus 和 OCT 图,生成更多病症图 解决问题创新点 效果调参技巧总结Fundus 转 OCT(只是猜想,不一定)1. 疾病特征模拟2. 数据增强3. 疾病进展模拟4. 跨模态学习 解决问题 论文&a…...
C++(6) 继承
文章目录 继承1. 继承1.1 什么是继承1.2 C 继承方式1.2.1 基本案例1.2.2 继承权限组合1.2.3 继承中构造函数的说法1.2.4 继承中析构函数的执行顺序1.2.5 继承中变量名称冲突问题1.2.6 继承中函数【重写】 继承 1. 继承 1.1 什么是继承 面向对象程序设计中最重要的一个概念是继…...
【Servlet】Smart Tomcat插件简化Servlet开发流程及解决常见问题
个人主页:兜里有颗棉花糖 欢迎 点赞👍 收藏✨ 留言✉ 加关注💓本文由 兜里有颗棉花糖 原创 收录于专栏【Servlet】 本专栏旨在分享学习Servlet的一点学习心得,欢迎大家在评论区交流讨论💌 目录 一、Smart Tomcat插件二…...
解决Qt连接不上mysql数据库
问题: QSqlDatabase: QMYSQL driver not loaded QSqlDatabase: available drivers: QSQLITE QODBC QODBC3 QPSQL QPSQL7 下载网盘中的三个文件(网盘链接在文章结尾):qsqlmysql.dll、qsqlmysqld.qll、libmysql.dll找到你安装Qt的目录ÿ…...
kubernetes-快速部署一套k8s集群
1、前置知识点 1.1 生产环境可部署Kubernetes集群的两种方式 目前生产部署Kubernetes集群主要有两种方式: kubeadm Kubeadm是一个K8s部署工具,提供kubeadm init和kubeadm join,用于快速部署Kubernetes集群。 二进制包 从github下载发行…...
Windows Server 安装 Docker
一、简介 Docker 不是一个通用容器工具,它依赖运行的 Linux 内核环境。Docker 实质上是在运行的 Linux 服务器上制造了一个隔离的文件环境,所以它执行的效率几乎等同于所部署的 Linux 主机服务器性能。因此,Docker 必须部署在 Linux 内核系统…...
谷歌浏览器插件
项目中有时候会用到插件 sync-cookie-extension1.0.0:开发环境同步测试 cookie 至 localhost,便于本地请求服务携带 cookie 参考地址:https://juejin.cn/post/7139354571712757767 里面有源码下载下来,加在到扩展即可使用FeHelp…...
Flask RESTful 示例
目录 1. 环境准备2. 安装依赖3. 修改main.py4. 运行应用5. API使用示例获取所有任务获取单个任务创建新任务更新任务删除任务 中文乱码问题: 下面创建一个简单的Flask RESTful API示例。首先,我们需要创建环境,安装必要的依赖,然后…...
SCAU期末笔记 - 数据分析与数据挖掘题库解析
这门怎么题库答案不全啊日 来简单学一下子来 一、选择题(可多选) 将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务?(C) A. 频繁模式挖掘 B.分类和预测 C.数据预处理 D.数据流挖掘 A. 频繁模式挖掘:专注于发现数据中…...
iPhone密码忘记了办?iPhoneUnlocker,iPhone解锁工具Aiseesoft iPhone Unlocker 高级注册版分享
平时用 iPhone 的时候,难免会碰到解锁的麻烦事。比如密码忘了、人脸识别 / 指纹识别突然不灵,或者买了二手 iPhone 却被原来的 iCloud 账号锁住,这时候就需要靠谱的解锁工具来帮忙了。Aiseesoft iPhone Unlocker 就是专门解决这些问题的软件&…...
测试markdown--肇兴
day1: 1、去程:7:04 --11:32高铁 高铁右转上售票大厅2楼,穿过候车厅下一楼,上大巴车 ¥10/人 **2、到达:**12点多到达寨子,买门票,美团/抖音:¥78人 3、中饭&a…...
oracle与MySQL数据库之间数据同步的技术要点
Oracle与MySQL数据库之间的数据同步是一个涉及多个技术要点的复杂任务。由于Oracle和MySQL的架构差异,它们的数据同步要求既要保持数据的准确性和一致性,又要处理好性能问题。以下是一些主要的技术要点: 数据结构差异 数据类型差异ÿ…...
高等数学(下)题型笔记(八)空间解析几何与向量代数
目录 0 前言 1 向量的点乘 1.1 基本公式 1.2 例题 2 向量的叉乘 2.1 基础知识 2.2 例题 3 空间平面方程 3.1 基础知识 3.2 例题 4 空间直线方程 4.1 基础知识 4.2 例题 5 旋转曲面及其方程 5.1 基础知识 5.2 例题 6 空间曲面的法线与切平面 6.1 基础知识 6.2…...
04-初识css
一、css样式引入 1.1.内部样式 <div style"width: 100px;"></div>1.2.外部样式 1.2.1.外部样式1 <style>.aa {width: 100px;} </style> <div class"aa"></div>1.2.2.外部样式2 <!-- rel内表面引入的是style样…...
ABAP设计模式之---“简单设计原则(Simple Design)”
“Simple Design”(简单设计)是软件开发中的一个重要理念,倡导以最简单的方式实现软件功能,以确保代码清晰易懂、易维护,并在项目需求变化时能够快速适应。 其核心目标是避免复杂和过度设计,遵循“让事情保…...
html css js网页制作成品——HTML+CSS榴莲商城网页设计(4页)附源码
目录 一、👨🎓网站题目 二、✍️网站描述 三、📚网站介绍 四、🌐网站效果 五、🪓 代码实现 🧱HTML 六、🥇 如何让学习不再盲目 七、🎁更多干货 一、👨…...
