如何精准设置线程数,提升系统性能的秘密武器!
线程数设定多少更合适?
线程数的设定需要根据任务的类型、系统资源、以及并发需求来进行权衡。设定合适的线程数可以有效提升系统的性能,但设置过多或过少都会影响程序的效率。以下是一些关键因素和计算方法,用于帮助确定最合适的线程数。
1. 任务类型区分:CPU密集型 vs I/O密集型
-
CPU密集型任务:这些任务主要占用CPU资源,例如数据处理、复杂计算等。此时,线程数应该与可用的CPU核心数保持一致,避免过多线程导致频繁的上下文切换。
推荐线程数:
线程数 = CPU核心数 + 1
这种计算方式保证每个线程能够最大限度利用CPU资源,+1 是为了处理一些轻微的线程切换开销。
-
I/O密集型任务:如果任务主要是网络请求、文件读写等I/O操作,那么大量时间会消耗在等待I/O响应上,CPU资源不会完全被占用。因此,可以设置更多的线程来同时处理多个任务。
推荐线程数:
线程数 = (CPU核心数 * 2) 或更多,取决于I/O的等待时间
I/O密集型任务的等待时间较长,允许更多的线程并发执行任务,从而最大化I/O吞吐量。
2. 基于公式计算线程数
我们可以使用以下公式,根据任务类型、系统资源和I/O等待时间来计算线程数:
线程数 = CPU核心数 * [1 + (I/O等待时间 / CPU时间)]
- I/O等待时间:任务在等待外部资源(如磁盘、网络)的时间。
- CPU时间:线程执行任务时占用CPU的时间。
这种方式能够精确估算出合适的线程数,确保既不会浪费CPU资源,也能最大化任务的处理能力。
3. 系统资源和硬件约束
-
CPU核心数:你可以通过
Runtime.getRuntime().availableProcessors()
来获取当前系统的CPU核心数,作为设定线程数的参考。int cores = Runtime.getRuntime().availableProcessors(); System.out.println("Available CPU cores: " + cores);
-
内存限制:线程的堆栈和任务所需的数据都消耗内存。线程数过多可能导致内存不足或频繁的垃圾回收。根据内存使用情况合理限制线程数。
4. 线程池的优化
对于线程管理,线程池(Thread Pool) 是常用的模式。通过线程池可以控制并发线程的数量,避免线程数过多导致系统过载。
示例代码展示如何通过 ThreadPoolExecutor
来管理线程数:
import java.util.concurrent.*;public class ThreadPoolExample {public static void main(String[] args) {int corePoolSize = Runtime.getRuntime().availableProcessors();int maxPoolSize = corePoolSize * 2;long keepAliveTime = 10L;BlockingQueue<Runnable> queue = new LinkedBlockingQueue<>(100);ThreadPoolExecutor executor = new ThreadPoolExecutor(corePoolSize, maxPoolSize, keepAliveTime, TimeUnit.SECONDS, queue,new ThreadPoolExecutor.CallerRunsPolicy() // 当队列满时采取的拒绝策略);for (int i = 0; i < 100; i++) {executor.execute(() -> {System.out.println(Thread.currentThread().getName() + " is running");try {Thread.sleep(1000); // 模拟任务执行} catch (InterruptedException e) {e.printStackTrace();}});}executor.shutdown();}
}
- 核心线程数:设置为 CPU 核心数。
- 最大线程数:设置为 CPU 核心数的两倍,用于处理 I/O 密集型任务。
- 拒绝策略:当队列已满时,通过
CallerRunsPolicy
让调用方执行任务,以防过载。
5. 使用场景:
- Web服务器:高并发访问时,可以根据 I/O 密集型的特点适当增加线程数,避免由于 I/O 等待时间过长导致请求处理缓慢。
- 数据处理任务:对于 CPU 密集型任务,可以严格限制线程数为 CPU 核心数,防止 CPU 上下文切换导致的性能损失。
但是线程数的设置确实不能仅仅依靠公式,它是一个多因素综合考量的结果。除了基本的公式计算外,实际生产环境中还需要考虑到多种因素,包括但不限于以下几个方面:
JVM与垃圾回收机制
不同的JVM实现、GC策略(如G1、CMS、ZGC等)对内存管理的影响非常大。过多的线程可能会导致垃圾回收频繁,影响系统的吞吐量和响应时间。因此,线程数设定时需要考虑JVM对内存和线程资源的管理。
机器硬件资源
- 超线程技术:在现代处理器中,超线程(Hyper-Threading)技术会将一个物理核心虚拟化为两个逻辑核心,但这并不意味着性能会翻倍。超线程更多地是用来提升线程间的并行度,而非增加计算能力。因此,在计算线程数时,需要特别注意物理核心和逻辑核心的区别。
- CPU缓存:线程过多时,线程之间的切换可能会导致缓存的抖动(Cache Thrashing),影响CPU的效率。
CPU核数的现实与虚拟化环境
- 有时虚拟机中的CPU核数可能是共享资源,而不是真实独占的物理核。核数的浮动可能会导致性能的不稳定性,因此在虚拟化环境下,需要考虑资源竞争对系统的影响。
业务特点和实际负载
- 业务复杂度:不同的业务逻辑会占用不同的资源。计算密集型任务与I/O密集型任务对线程的需求差别很大,甚至同一类任务在不同的负载下也会表现出不同的需求。
- 系统响应时间要求:每个系统对响应时间的容忍度不同。设定合理的SLA(服务等级协议),明确可接受的最大响应时间和错误率,是制定线程池策略时的一个重要因素。
压测与性能调优
通过压测可以真实地反映系统的承载能力。压测时,重要的是设定合理的指标:
- 响应时间阈值:定义系统能够接受的最大响应时间,例如,超过1秒的响应时间就是不可接受的。
- 错误率:即使系统处于高负载下,允许一定比例的请求出现错误是合理的,但这个错误率需要控制在一个可接受的范围内。
动态调整与监控
系统上线后,应该根据实际运行数据不断调整线程池的大小。监控指标如:
- CPU使用率:过高的CPU使用率可能表明线程数太多,导致CPU过载。
- 线程队列长度:线程池队列中的等待任务数量过多,可能表明线程数不够。
- 响应时间:高响应时间通常意味着线程数不足或系统瓶颈。
线程池的合理设置与调整
合理的线程池设置不是一蹴而就的。上线初期,可以通过公式初步设定线程池大小:
int corePoolSize = Runtime.getRuntime().availableProcessors();
int maxPoolSize = corePoolSize * 2; // 初始设定为CPU核心数的两倍
long keepAliveTime = 60L; // 线程空闲时间
BlockingQueue<Runnable> workQueue = new LinkedBlockingQueue<>(1000); // 任务队列
上线后,通过压测和实际监控数据逐步调整:
- 根据响应时间和错误率调整线程池参数:如果响应时间超出可接受范围,说明系统压力较大,可以适当增加线程数;如果错误率较高,则可能需要调低线程数或优化任务执行方式。
- 动态扩展和收缩:在系统高负载时,通过自动化脚本或运维工具动态调整线程池大小,保证系统的灵活性和稳定性。
实际应用场景
- 高并发服务:在金融交易、电子商务等高并发场景下,合理设置线程池可以帮助应对大量的请求,保证系统的稳定性。
- 后台批处理系统:线程池可以用于批量任务处理,通过合理配置线程池大小,优化资源使用,保证任务高效执行。
- Web服务器:在Web服务中,通过调整线程池大小和I/O等待时间的关系,确保服务器能够高效响应请求。
结论
线程数的设定是根据任务类型、CPU资源和I/O等待时间等因素动态调整的。合理的线程数配置能够有效提升并发性能,避免系统资源的浪费或过载。同时,通过线程池机制,可以更好地管理线程生命周期和系统稳定性。在不同的应用场景中,线程数的优化至关重要。
线程池的设定并不简单,它涉及到CPU核心数、JVM调优、I/O等待时间、业务负载、系统响应时间等多个因素。通过压测和实时监控,持续调整线程池大小,才能最终找到系统的最佳性能点。
相关文章:
如何精准设置线程数,提升系统性能的秘密武器!
线程数设定多少更合适? 线程数的设定需要根据任务的类型、系统资源、以及并发需求来进行权衡。设定合适的线程数可以有效提升系统的性能,但设置过多或过少都会影响程序的效率。以下是一些关键因素和计算方法,用于帮助确定最合适的线程数。 …...
正则表达式:从入门到精通
正则表达式(Regular Expression,简称 regex)是一种强大的文本匹配和处理工具。它可以用于搜索、替换、验证和提取文本中的特定模式。本文将带您深入了解正则表达式的各个方面,从基础知识到高级技巧。 1. 基础知识 1.1 什么是正则表达式? 正则表达式是由一系列字符和特殊…...

CRMEB标准版Mysql修改sql_mode
数据库配置 1.宝塔控制面板-软件商店-MySql-设置 2.点击配置修改,查找sql-mode或sql_mode (可使用CtrlF快捷查找) 3.复制 NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION 然后替换粘贴,保存 注:MySQL8.0版本的 第三步用…...

linux驱动访问的地址为虚拟地址
在Linux驱动程序中,访问的内存地址通常是虚拟地址。这是因为Linux操作系统采用了虚拟内存管理机制,所有的用户空间和内核空间的内存地址都是虚拟地址。下面是一些关键点,以帮助更好地理解这个概念: 虚拟地址与物理地址࿱…...

基于SpringBoot+Vue+uniapp微信小程序的社区门诊管理系统的详细设计和实现(源码+lw+部署文档+讲解等)
项目运行截图 技术框架 后端采用SpringBoot框架 Spring Boot 是一个用于快速开发基于 Spring 框架的应用程序的开源框架。它采用约定大于配置的理念,提供了一套默认的配置,让开发者可以更专注于业务逻辑而不是配置文件。Spring Boot 通过自动化配置和约…...

使用WPF写一个简单的开关控件
<Window x:Class"WPF练习.MainWindow"xmlns"http://schemas.microsoft.com/winfx/2006/xaml/presentation"xmlns:x"http://schemas.microsoft.com/winfx/2006/xaml"xmlns:d"http://schemas.microsoft.com/expression/blend/2008"xm…...

FPGA采集adc,IP核用法,AD驱动(上半部分)
未完结,明天补全 IP核:集成的一个现有的模块 串口写好后基本不会再修改串口模块内部的一些逻辑,将串口.v文件添加进来,之后通过他的上层的接口去对他进行使用,所以我们打包IP,之后就不用去添加源文件了&a…...
MongoDB 如何做mapreduce
以下是在MongoDB中使用MapReduce的详细步骤和相关说明: 1. MapReduce的概念 MapReduce是一种用于大规模数据处理的编程模型,它由两个主要阶段组成:Map阶段和Reduce阶段。在MongoDB中,MapReduce操作允许在服务器端对数据进行批量…...

Vue是一套构建用户界面的渐进式框架,常用于构建单页面应用
学习总结 1、掌握 JAVA入门到进阶知识(持续写作中……) 2、学会Oracle数据库入门到入土用法(创作中……) 3、手把手教你开发炫酷的vbs脚本制作(完善中……) 4、牛逼哄哄的 IDEA编程利器技巧(编写中……) 5、面经吐血整理的 面试技…...

c++ 桶排序(看这一篇就够了)
1. 概述 桶排序(Bucket Sort)又称箱排序,是一种比较常用的排序算法。其算法原理是将数组分到有限数量的桶里,再对每个桶分别排好序(可以是递归使用桶排序,也可以是使用其他排序算法将每个桶分别排好序&…...

格点拉格朗日插值与PME算法
技术背景 在前面的一篇博客中,我们介绍了拉格朗日插值法的基本由来和表示形式。这里我们要介绍一种拉格朗日插值法的应用场景:格点拉格朗日插值法。这种场景的优势在于,如果我们要对整个实数空间进行求和或者积分,计算量是随着变量…...

【LVGL快速入门(二)】LVGL开源框架入门教程之框架使用(UI界面设计)
零.前置篇章 本篇前置文章为【LVGL快速入门(一)】LVGL开源框架入门教程之框架移植 一.UI设计 介绍使用之前,我们要学习一款LVGL官方的UI设计工具SquareLine Studio,使用图形化设计方式设计出我们想要的界面,然后生成对应源文件导入工程使用…...

jmeter中用csv data set config做参数化2
在jmeter中,使用csv data set config进行参数化是很重要的一个功能,但是这个功能的使用需要十分仔细和小心,因为细节之处往往决定着结果的正确与否。 举例: 一个登录接口用加密密码登录,一个登录接口用原始密码登录。…...
背包问题整理
1.01背包 题目描述 小明有一个容量为 V 的背包。 这天他去商场购物,商场一共有N 件物品,第 i 件物品的体积为 wi,价值为 vi。 小明想知道在购买的物品总体积不超过 V的情况下所能获得的最大价值为多少,请你帮他算算。 输入描述…...

基于Matlab车牌识别课程设计报告
Matlab车牌识别系统 分院(系) 信息科学与工程 专业 学生姓名 学号 设计题目 车牌识别系统设计 内容及要求: 车牌定位系统的目的在于正确获取整个图像中车牌的区域, 并识别出车牌号。通过设计实现车牌识别系…...

SSM框架实战小项目:打造高效用户管理系统 day3
前言 在前两篇博客中,后台已经搭建完毕,现在需要设计一下前端页面 webapp下的项目结构图 创建ftl文件夹,导入css和js 因为我们在后台的视图解析器中,设置了页面解析器,跳转路径为/ftl/*.ftl,所以需要ftl文件…...

一款现代化、可定制的跨平台文件浏览器,高颜值高效率的的管理神器!(附私活源码)
在如今这个注重效率的时代,我们每天都在与文件打交道。 但是,你有没有感觉到传统的文件管理器总是让人提不起劲?单调的外观,有限的功能,仿佛是上个世纪的产物。 一直以来,我都在寻找一款既颜值高又功能强…...

【C】二分查找与函数1
二分查找 练习: 给定一个整型的有序数组,在数组中找到指定的一个值,如: 1,2,3,4,5,6,7,8,9,10 找出7.如果找到了&#x…...

光纤光学的基本方程
一、麦克斯韦方程与亥姆赫兹方程 1.1 麦克斯韦方程 光纤是一种介质光波导,具有以下特点: ① 无传导电流 ② 无自由电荷 ③ 线性各向同性 推导出来的即为波动方程。为材料在真空中的磁导率,为材料在真空中的介电常数,n为材料折…...
题解:CF584D Dima and Lisa
前置知识 哥德巴赫猜想,任一大于 2 2 2 的偶数都可写成两个素数之和。 思路 我们可以分类讨论一下。 n n n 一开始就是质数。直接输出即可 n n n 是偶数,那么一定可以写成两个质数之和。那么暴力枚举两个质数即可。 如果以上均不符合,计…...

使用docker在3台服务器上搭建基于redis 6.x的一主两从三台均是哨兵模式
一、环境及版本说明 如果服务器已经安装了docker,则忽略此步骤,如果没有安装,则可以按照一下方式安装: 1. 在线安装(有互联网环境): 请看我这篇文章 传送阵>> 点我查看 2. 离线安装(内网环境):请看我这篇文章 传送阵>> 点我查看 说明:假设每台服务器已…...
论文解读:交大港大上海AI Lab开源论文 | 宇树机器人多姿态起立控制强化学习框架(二)
HoST框架核心实现方法详解 - 论文深度解读(第二部分) 《Learning Humanoid Standing-up Control across Diverse Postures》 系列文章: 论文深度解读 + 算法与代码分析(二) 作者机构: 上海AI Lab, 上海交通大学, 香港大学, 浙江大学, 香港中文大学 论文主题: 人形机器人…...

【Oracle APEX开发小技巧12】
有如下需求: 有一个问题反馈页面,要实现在apex页面展示能直观看到反馈时间超过7天未处理的数据,方便管理员及时处理反馈。 我的方法:直接将逻辑写在SQL中,这样可以直接在页面展示 完整代码: SELECTSF.FE…...
Swagger和OpenApi的前世今生
Swagger与OpenAPI的关系演进是API标准化进程中的重要篇章,二者共同塑造了现代RESTful API的开发范式。 本期就扒一扒其技术演进的关键节点与核心逻辑: 🔄 一、起源与初创期:Swagger的诞生(2010-2014) 核心…...

云原生玩法三问:构建自定义开发环境
云原生玩法三问:构建自定义开发环境 引言 临时运维一个古董项目,无文档,无环境,无交接人,俗称三无。 运行设备的环境老,本地环境版本高,ssh不过去。正好最近对 腾讯出品的云原生 cnb 感兴趣&…...
MySQL 索引底层结构揭秘:B-Tree 与 B+Tree 的区别与应用
文章目录 一、背景知识:什么是 B-Tree 和 BTree? B-Tree(平衡多路查找树) BTree(B-Tree 的变种) 二、结构对比:一张图看懂 三、为什么 MySQL InnoDB 选择 BTree? 1. 范围查询更快 2…...
根目录0xa0属性对应的Ntfs!_SCB中的FileObject是什么时候被建立的----NTFS源代码分析--重要
根目录0xa0属性对应的Ntfs!_SCB中的FileObject是什么时候被建立的 第一部分: 0: kd> g Breakpoint 9 hit Ntfs!ReadIndexBuffer: f7173886 55 push ebp 0: kd> kc # 00 Ntfs!ReadIndexBuffer 01 Ntfs!FindFirstIndexEntry 02 Ntfs!NtfsUpda…...

通过MicroSip配置自己的freeswitch服务器进行调试记录
之前用docker安装的freeswitch的,启动是正常的, 但用下面的Microsip连接不上 主要原因有可能一下几个 1、通过下面命令可以看 [rootlocalhost default]# docker exec -it freeswitch fs_cli -x "sofia status profile internal"Name …...

ubuntu22.04有线网络无法连接,图标也没了
今天突然无法有线网络无法连接任何设备,并且图标都没了 错误案例 往上一顿搜索,试了很多博客都不行,比如 Ubuntu22.04右上角网络图标消失 最后解决的办法 下载网卡驱动,重新安装 操作步骤 查看自己网卡的型号 lspci | gre…...

Linux 下 DMA 内存映射浅析
序 系统 I/O 设备驱动程序通常调用其特定子系统的接口为 DMA 分配内存,但最终会调到 DMA 子系统的dma_alloc_coherent()/dma_alloc_attrs() 等接口。 关于 dma_alloc_coherent 接口详细的代码讲解、调用流程,可以参考这篇文章,我觉得写的非常…...