Gunicorn性能优化:提升Python Web应用的服务效率
在Python Web开发中,Gunicorn作为WSGI HTTP服务器,常常作为Web应用(如Django或Flask)与反向代理或负载均衡器之间的桥梁。为了充分发挥其性能,本文将提供一些实用的Gunicorn配置建议。
Gunicorn架构
Gunicorn采用了预派生(pre-fork)模型,这意味着它在处理任何HTTP请求之前会创建子进程。主进程负责监控并保持工作进程的数量稳定。如果工作进程异常退出,主进程会重新启动新的工作进程。
性能优化要点
1. 工作进程(Workers)
- 对于CPU密集型应用,增加工作进程数是关键。
- 推荐的工作进程数公式是:(2 * CPU核心数) + 1。
- 例如,在双核CPU的机器上,建议设置5个工作进程。
gunicorn --workers=5 main:app

Gunicorn 具有默认的工作类(同步sync)
- 线程(Threads)
- 对于I/O密集型应用,使用线程可以提高效率。
- 每个工作进程可以拥有多个线程,共享内存空间。
- 线程的使用需要将工作类设置为gthread。
gunicorn --workers=5 --threads=2 main:app

上面的命令与以下命令相同:
gunicorn --workers=5 --threads=2 --worker-class=gthread main:app
最大并发请求数为workers * threads,上述情况下是10。
当使用工作进程和线程时,建议的最大并发请求数仍然是(2*CPU)+1。
因此,如果使用的是四核(4个CPU)的计算机,并且希望同时使用工作进程和线程,可以使用3个工作进程和3个线程,以获得9个最大并发请求。
gunicorn --workers=3 --threads=3 main:app
- 伪线程”(Pseudo-threads)
- 对于异步编程,如gevent或asyncio,Gunicorn通过设置特定的工作进程类来支持。
- 例如,在单核机器上使用gevent:
gunicorn --worker-class=gevent --worker-connections=1000 --workers=3 main:app
worker-connections 是 gevent 工作进程类的特定设置。
(2*CPU)+1 仍然是建议的工作进程数量,因为只有1个核心,将使用3个工作进程。
在这种情况下,最大并发请求数是3000(3个工作进程 * 每个工作进程的1000个连接)。
并发与并行
理解并发(Concurrency)与并行(Parallelism)的区别是优化性能的关键。在Python中,线程和“伪线程”是并发执行的手段,但不是并行;而工作进程则既是并发的也是并行的。
总结
- 对于I/O密集型应用,使用“伪线程”可获得最佳性能。
- 对于CPU密集型应用,增加工作进程数是关键。
- 如果内存使用是瓶颈,考虑使用线程。
- 不确定时,从基本配置开始,逐步调整。
此外,还有其他优化建议,包括调整worker类、超时时间、保持活动连接、worker类参数、使用反向代理、监控和扩展、优化应用代码、升级Gunicorn和合理分配资源:
-
调整 Worker 类:
- Gunicorn 支持不同的 worker 类。默认是同步的,但为了更好地支持异步框架,考虑使用异步的 worker,如
gevent或eventlet。 - 示例使用 gevent:
gunicorn -k gevent -w 4 myapp:app
- Gunicorn 支持不同的 worker 类。默认是同步的,但为了更好地支持异步框架,考虑使用异步的 worker,如
-
Worker 超时:
- 为 worker 进程设置合理的超时时间。如果 worker 在指定的超时时间内没有响应,Gunicorn 将重新启动它。
- 示例:
gunicorn --timeout 120 myapp:app
-
保持活动连接:
- 调整
keepalive选项以控制 Gunicorn 在 Keep-Alive HTTP 连接上等待下一个请求的时间。 - 示例:
gunicorn --keep-alive 5 myapp:app
- 调整
-
调整 Worker 类参数:
- 如果使用异步的 worker 类,如
gevent,考虑调整参数,如 worker 连接的数量。 - 示例:
gunicorn -k gevent --worker-connections 1000 -w 4 myapp:app
- 如果使用异步的 worker 类,如
-
使用反向代理:
- 将 Gunicorn 部署在反向代理(例如 Nginx 或 Apache)后面,以处理诸如 SSL 终止、静态文件服务和负载均衡等任务。
-
监控和扩展:
- 使用
gunicorn-stats等工具监控 Gunicorn,或将其集成到监控解决方案中。 - 考虑通过在负载均衡器后运行 Gunicorn 来进行水平扩展。
- 使用
-
优化应用代码:
- 优化应用代码以高效处理请求。分析和优化应用代码可以显著影响整体性能。
-
升级 Gunicorn:
- 确保使用最新版本的 Gunicorn,以享受性能改进和错误修复的好处。
-
资源分配:
- 为运行 Gunicorn 的机器分配足够的资源(CPU、内存),考虑应用的需求和流量。
参考文献
- https://docs.gunicorn.org/en/latest/design.html
- https://yhbt.net/unicorn/DESIGN.html
- https://tomayko.com/blog/2009/unicorn-is-unix
- https://stackoverflow.com/questions/25834333/what-exactly-is-a-pre-fork-web-server-model
- https://medium.com/building-the-system/gunicorn-3-means-of-concurrency-efbb547674b7
- https://stackoverflow.com/questions/38425620/gunicorn-workers-and-threads
相关文章:
Gunicorn性能优化:提升Python Web应用的服务效率
在Python Web开发中,Gunicorn作为WSGI HTTP服务器,常常作为Web应用(如Django或Flask)与反向代理或负载均衡器之间的桥梁。为了充分发挥其性能,本文将提供一些实用的Gunicorn配置建议。 Gunicorn架构 Gunicorn采用了预…...
如何使用ssh key免密码登录服务器?
以下是使用密钥对免密码登录服务器的具体指令操作步骤: 步骤一:生成密钥对 在本地电脑上打开终端或命令提示符,运行以下命令生成密钥对: ssh-keygen -t rsa -C "your_emailexample.com" 该命令会提示您选择保存密钥…...
macos Android平台签名证书(.keystore)
一、申请appid的使用说明(有appid的请忽略申请appid) 创建应用 申请的appid在源码视图填写后会自动生成一个对应的包名 ⚠️注意:申请appid的时候应用名称和项目名称保持一致。 二、 Android如何使用自用证书进行打包 1.找到安装jdk的路径…...
Kotlin快速入门系列2
Kotlin的基本数据类型 Kotlin 的基本数值类型包括 Byte、Short、Int、Long、Float、Double 等。不同于 Java 的是,字符不属于数值类型,是一个独立的数据类型。 Java和kotlin数据类型对照如下: Java基本数据类型 Kotlin对象数据类型 数据类…...
单片机之keil软件环境搭建
简介 Keil提供了包括C编译器、宏汇编、链接器、库管理和一个功能强大的仿真调试器等在内的完整开发方案,通过一个集成开发环境(μVision)将这些部分组合在一起。 目前软件对中文的支持不友好,不建议安装网上的一些汉化包…...
数学公式OCR识别php 对接mathpix api 使用公式编译器
数学公式OCR识别php 对接mathpix api 一、注册账号官网网址:https://mathpix.com 二、该产品支持多端使用注意说明(每月10次) 三、api 对接第一步创建create keyphp对接api这里先封装两个请求函数,get 和post ,通过官方…...
MySQL原理(二)存储引擎(1)概述
一、存储引擎介绍 1、概念: (1)MySQL中的数据用各种不下同的技术存储在文件中,每一种技术都使用不同的存储机制、索引技巧、锁定水平并最终提供不同的功能和能力,这些不同的技术以及配套的功能在MySQL中称为存储引擎…...
微信小程序canvas画布如何解决在for循环绘制图像显示不全的问题
如下所示,在for循环中绘制图像,由于onload函数加载图像是异步执行,会导致显示不全所有图片的问题。 for(var a0;a<2;a){ var img canvas.createImage()img.src product_image[items[a]]img.onload ()>{ctx.drawImage(el,0,h,i…...
Python计算机二级/Python期末考试 刷题(一)
收集了一些经典Python计算机二级和Python期末考试题库 整理不易,大家点赞收藏支持一下 祝大家计算机二级和期末考试都高分过 目录 一、填空 二、选择 三、程序设计 一、填空 1.序列元素的编号称为索引,索引值从【1】开始,访问序列元素时将…...
最新GPT4.0使用教程,AI绘画-Midjourney绘画,GPT语音对话使用,DALL-E3文生图+思维导图一站式解决
一、前言 ChatGPT3.5、GPT4.0、GPT语音对话、Midjourney绘画,文档对话总结DALL-E3文生图,相信对大家应该不感到陌生吧?简单来说,GPT-4技术比之前的GPT-3.5相对来说更加智能,会根据用户的要求生成多种内容甚至也可以和…...
【JavaScript】两种方法实现继承
JS继承-ES6-基于 class 实现继承 mdn 类 阮一峰 ES6-class mdn-super ES6中推出了class类,是用来创建对象的模板。 class可以看作是一个语法糖,它的绝大部分功能,ES5 都可以做到,新的class写法只是让对象原型的写法更加清晰、更像面向对象编程的语法而已…...
张维迎《博弈与社会》笔记(3)导论:一些经济学的基础知识
这篇的主要内容介绍了经济学的基础知识吧。 经济学、社会学、心理学的区别 经济学与社会学的区别与共同点 经济学一般是从个人的行为出发解释社会现象(from micro to macro)。社会学的传统方法则是从社会的角度来解释个人的行为(from macro…...
随机生成UI不重叠
注释 简单的随机生成UI且不发生重叠,可以修改算法进行更深入的探索 using System.Collections; using System.Collections.Generic; using UnityEngine;public class CellInfo {/// <summary>/// 物体位置/// </summary>public Vector2 pos;/// <s…...
【C/C++】C/C++编程——第一个 C++ 程序:HelloWorld
第一个 C 程序:HelloWorld 大家好,我是 shopeeai,也可以叫我虾皮,中科大菜鸟研究生。昨天我们成功搭建好了 C 的开发环境,今天我们来介绍一下第一个 C 程序,打印一个"hello world"。首先我们先贴一下示例代…...
扩散视觉反事实算法 DVC:对抗性鲁棒分类器 + 扩散模型,跨模态对比原始的 fundus 图 VS 生成的 OCT 图
对抗性鲁棒分类器 扩散模型:为 正常的 fundus 和 OCT 图,生成更多病症图 解决问题创新点 效果调参技巧总结Fundus 转 OCT(只是猜想,不一定)1. 疾病特征模拟2. 数据增强3. 疾病进展模拟4. 跨模态学习 解决问题 论文&a…...
C++(6) 继承
文章目录 继承1. 继承1.1 什么是继承1.2 C 继承方式1.2.1 基本案例1.2.2 继承权限组合1.2.3 继承中构造函数的说法1.2.4 继承中析构函数的执行顺序1.2.5 继承中变量名称冲突问题1.2.6 继承中函数【重写】 继承 1. 继承 1.1 什么是继承 面向对象程序设计中最重要的一个概念是继…...
【Servlet】Smart Tomcat插件简化Servlet开发流程及解决常见问题
个人主页:兜里有颗棉花糖 欢迎 点赞👍 收藏✨ 留言✉ 加关注💓本文由 兜里有颗棉花糖 原创 收录于专栏【Servlet】 本专栏旨在分享学习Servlet的一点学习心得,欢迎大家在评论区交流讨论💌 目录 一、Smart Tomcat插件二…...
解决Qt连接不上mysql数据库
问题: QSqlDatabase: QMYSQL driver not loaded QSqlDatabase: available drivers: QSQLITE QODBC QODBC3 QPSQL QPSQL7 下载网盘中的三个文件(网盘链接在文章结尾):qsqlmysql.dll、qsqlmysqld.qll、libmysql.dll找到你安装Qt的目录ÿ…...
kubernetes-快速部署一套k8s集群
1、前置知识点 1.1 生产环境可部署Kubernetes集群的两种方式 目前生产部署Kubernetes集群主要有两种方式: kubeadm Kubeadm是一个K8s部署工具,提供kubeadm init和kubeadm join,用于快速部署Kubernetes集群。 二进制包 从github下载发行…...
Windows Server 安装 Docker
一、简介 Docker 不是一个通用容器工具,它依赖运行的 Linux 内核环境。Docker 实质上是在运行的 Linux 服务器上制造了一个隔离的文件环境,所以它执行的效率几乎等同于所部署的 Linux 主机服务器性能。因此,Docker 必须部署在 Linux 内核系统…...
基于FPGA的PID算法学习———实现PID比例控制算法
基于FPGA的PID算法学习 前言一、PID算法分析二、PID仿真分析1. PID代码2.PI代码3.P代码4.顶层5.测试文件6.仿真波形 总结 前言 学习内容:参考网站: PID算法控制 PID即:Proportional(比例)、Integral(积分&…...
R语言AI模型部署方案:精准离线运行详解
R语言AI模型部署方案:精准离线运行详解 一、项目概述 本文将构建一个完整的R语言AI部署解决方案,实现鸢尾花分类模型的训练、保存、离线部署和预测功能。核心特点: 100%离线运行能力自包含环境依赖生产级错误处理跨平台兼容性模型版本管理# 文件结构说明 Iris_AI_Deployme…...
Vue3 + Element Plus + TypeScript中el-transfer穿梭框组件使用详解及示例
使用详解 Element Plus 的 el-transfer 组件是一个强大的穿梭框组件,常用于在两个集合之间进行数据转移,如权限分配、数据选择等场景。下面我将详细介绍其用法并提供一个完整示例。 核心特性与用法 基本属性 v-model:绑定右侧列表的值&…...
leetcodeSQL解题:3564. 季节性销售分析
leetcodeSQL解题:3564. 季节性销售分析 题目: 表:sales ---------------------- | Column Name | Type | ---------------------- | sale_id | int | | product_id | int | | sale_date | date | | quantity | int | | price | decimal | -…...
【Java_EE】Spring MVC
目录 Spring Web MVC 编辑注解 RestController RequestMapping RequestParam RequestParam RequestBody PathVariable RequestPart 参数传递 注意事项 编辑参数重命名 RequestParam 编辑编辑传递集合 RequestParam 传递JSON数据 编辑RequestBody …...
【电力电子】基于STM32F103C8T6单片机双极性SPWM逆变(硬件篇)
本项目是基于 STM32F103C8T6 微控制器的 SPWM(正弦脉宽调制)电源模块,能够生成可调频率和幅值的正弦波交流电源输出。该项目适用于逆变器、UPS电源、变频器等应用场景。 供电电源 输入电压采集 上图为本设计的电源电路,图中 D1 为二极管, 其目的是防止正负极电源反接, …...
elementUI点击浏览table所选行数据查看文档
项目场景: table按照要求特定的数据变成按钮可以点击 解决方案: <el-table-columnprop"mlname"label"名称"align"center"width"180"><template slot-scope"scope"><el-buttonv-if&qu…...
篇章二 论坛系统——系统设计
目录 2.系统设计 2.1 技术选型 2.2 设计数据库结构 2.2.1 数据库实体 1. 数据库设计 1.1 数据库名: forum db 1.2 表的设计 1.3 编写SQL 2.系统设计 2.1 技术选型 2.2 设计数据库结构 2.2.1 数据库实体 通过需求分析获得概念类并结合业务实现过程中的技术需要&#x…...
【若依】框架项目部署笔记
参考【SpringBoot】【Vue】项目部署_no main manifest attribute, in springboot-0.0.1-sn-CSDN博客 多一个redis安装 准备工作: 压缩包下载:http://download.redis.io/releases 1. 上传压缩包,并进入压缩包所在目录,解压到目标…...
41道Django高频题整理(附答案背诵版)
解释一下 Django 和 Tornado 的关系? Django和Tornado都是Python的web框架,但它们的设计哲学和应用场景有所不同。 Django是一个高级的Python Web框架,鼓励快速开发和干净、实用的设计。它遵循MVC设计,并强调代码复用。Django有…...
