当前位置： 首页 > news >正文

分布式调度框架学习笔记

news 2025/11/16 20:10:33

一、分布式调度框架的基本设计

在这里插入图片描述

二、线程池线程数量设置的基本逻辑

cpu是分时复用的方法，线程是cpu调度的最小单元
在这里插入图片描述
如果当前cpu核数是n，计算密集型线程数一般设为n，io密集型(包括磁盘io和网络io)线程数一般设置为2n.

计算密集型线程数一般设为n的逻辑解释：
在这里插入图片描述
io密集型(包括磁盘io和网络io)线程数一般设置为2n的逻辑解释：
在这里插入图片描述

三、xxljob为什设置的线程是100，200？

在这里插入图片描述

四、power-job的无锁化设计

1. 任务分片

设计理念：在分布式环境中，任务通常被分成多个子任务（分片）并行执行。无锁化设计通过减少对共享资源的竞争来提高并发性能。
实现方式：PowerJob 通过将任务分片分配给不同的执行节点，避免了多个节点对同一资源的竞争，从而减少了锁的使用。

2. 去中心化调度

设计理念：去中心化调度意味着调度决策不依赖于单一的中心节点，从而避免了中心节点的性能瓶颈和单点故障。
实现方式：PowerJob 采用去中心化的调度策略，允许各个节点独立地进行任务调度和执行，减少了对中心节点的依赖。

3. 无状态设计

设计理念：无状态设计意味着每个节点不依赖于其他节点的状态信息，从而减少了锁的使用。
实现方式：PowerJob 的节点设计为无状态，任务的状态信息存储在外部持久化存储中（如数据库），节点通过查询持久化存储来获取任务状态。
在这里插入图片描述
在这里插入图片描述

五、分布式调度框架对比

在这里插入图片描述
在这里插入图片描述
ElasticJob相对xxl-job和power-job的对比：
在这里插入图片描述
备注：
推荐课程：
【分布式调度中心power-job中固定延迟任务调度问题】https://www.bilibili.com/video/BV1Qb421B7n8?vd_source=3c00905b4271effeeee3f3184045c49b

相关文章：

分布式调度框架学习笔记

一、分布式调度框架的基本设计 二、线程池线程数量设置的基本逻辑 cpu是分时复用的方法，线程是cpu调度的最小单元 如果当前cpu核数是n，计算密集型线程数一般设为n，io密集型(包括磁盘io和网络io)线程数一般设置为2n. 计算密集型线程数一般设…...

编程日记 2024/12/27 2:13:03

SpringCloudAlibaba技术栈-Nacos

1、什么是Nacos？ Nacos是个服务中心，就是你项目每个功能模块都会有个名字，比如支付模块,我们先给这个模块起个名字就叫paymentService,然后将这个名字和这个模块的配置放到Nacos中，其他模块也是这样的。好处是这样能更好地管理项…...

编程日记 2024/12/27 2:12:02

Redis篇--常见问题篇4--大Key（Big Key，什么是大Key，影响及使用建议）

1、概述 大Key：通常是指值（Value）的长度非常大，实际上键（Key）长度很大也算。通常来说，键本身不会很长，占用的内存较少，因此判断一个键是否为bigKey主要看它对应的值的大…...

编程日记 2024/12/27 2:07:56

谷歌浏览器 Chrome 提示：此扩展程序可能很快将不再受支持

问题现象 在Chrome 高版本上的扩展管理页面（地址栏输入chrome://extensions/或者从界面进入）： ， 可以查看到扩展的情况。 问题现象大致如图: 问题原因 出现此问题的根本原因在于：谷歌浏览器本身的扩展机制发生了…...

编程日记 2024/12/27 2:04:52

WebRTC服务质量（10）- Pacer机制（02) RoundRobinPacketQueue

WebRTC服务质量（01）- Qos概述 WebRTC服务质量（02）- RTP协议 WebRTC服务质量（03）- RTCP协议 WebRTC服务质量（04）- 重传机制（01) RTX NACK概述 WebRTC服务质量（…...

编程日记 2024/12/27 1:59:48

数据库的数据被清除了，该如何恢复？

当数据库的数据被清除时，恢复数据的难度和可能性取决于多种因素，包括数据清除的方式、数据库的类型、是否有备份等。以下是一些常见的数据库数据恢复方法： 一、基于备份的恢复 使用备份文件： 如果数据库有定期的备份&#xff0c…...

编程日记 2024/12/27 1:46:37

【西安电子科技大学考研】25官方复试专业课参考书目汇总

初试已经顺利考完啦、成绩已经公布，现在已经有很多同学来问学长学姐，复试参考书有哪些，复试应该做好哪些准备。故此学长学姐给大家整理好了西安电子科技大学各个学院的复试参考书目录，有需要的同学可以参考一下哈。大家可以结合本…...

编程日记 2024/12/27 1:44:34

【理解机器学习中的过拟合与欠拟合】

在机器学习中，模型的表现很大程度上取决于我们如何平衡“过拟合”和“欠拟合”。本文通过理论介绍和代码演示，详细解析过拟合与欠拟合现象，并提出应对策略。主要内容如下： 什么是过拟合和欠拟合？ 如何防止过拟合和欠拟…...

编程日记 2024/12/27 1:43:34

fastjson诡异报错

1、环境以及报错描述 1.1 环境 操作系统为中标麒麟、cpu 为国产鲲鹏服务器。 jdk为openjdk version 1.8.0._242 1.2 错误 com.alibaba.fastjson2.JSONException: syntax error : f at com.alibaba.fastjson2.JSONReaderUTF16.readBoolValue(JSONReaderUTF16.java:6424) at c…...

编程日记 2024/12/27 1:42:33

面经zhenyq

如何去实现分层的动画效果？ 在Unity中实现分层的动画效果，可以通过Animator的 Layer 功能实现。以下是详细步骤： 1. 什么是分层动画？ 分层动画允许在同一个角色的不同部分同时播放独立的动画。例如： 上半身可以播放…...

编程日记 2024/12/27 1:39:28

GoFrame框架介绍

GoFrame是一款功能强大、设计精良且易用的Go语言开发框架，以下为你详细介绍它的相关特点和内容： ### 框架概述 GoFrame是为了提升Go语言开发者的编码效率以及项目的整体可维护性、可扩展性等而打造的开发框架，它涵盖了从基础的网络通信、数据…...

编程日记 2024/12/27 1:36:24

MapReduce工作流程+Shuffle机制

一、Mapreduce工作流程 （1）数据切片Split。数据切片数决定maptask并行度，默认情况下，一个切片大小块大小。切片不是针对整体数据集，而是针对每一个文件单独切片，所以会有小文件问题（CombineTex…...

编程日记 2024/12/27 1:35:23

JAVA8 Stream API 使用详解

Java 8 引入了 Stream API，它提供了对集合对象进行一系列操作的新方式，包括筛选、转换、聚合等。Stream API 的设计目标是提供一种高效且易于使用的处理集合数据的方式，同时支持并行处理。 以下是 Java 8 Stream API 的一些核心概念和使用详解…...

编程日记 2024/12/27 1:34:22

Redis 集群架构：高可用与扩展性

一、引言 在当今数字化时代，数据量呈爆炸式增长，对数据存储和处理的要求也越来越高。Redis作为一款高性能的键值对存储数据库，其集群架构在应对高并发、大数据量场景时展现出了独特的优势，成为众多企业构建高效、稳定系统的关键技…...

编程日记 2024/12/27 1:33:21

Redis数据对象

基本结构图 key和value指向的是redisObject对象 type：标识该对象用的是什么类型（String、List Redis数据结构 SDS SDS有4个属性： len：记录了字符串长度，因此获取字符串长度的时候时间复杂度O（1&#xff…...

编程日记 2024/12/27 1:25:12

Docker部署GitLab服务器

一、GitLab介绍 1.1 GitLab简介 GitLab 是一款基于 Git 的开源代码托管平台，集成了版本控制、代码审查、问题跟踪、持续集成与持续交付（CI/CD）等多种功能，旨在为团队提供一站式的项目管理解决方案。借助 GitLab，开发…...

编程日记 2024/12/27 1:24:11

python版本的Selenium的下载及chrome环境搭建和简单使用

针对Python版本的Selenium下载及Chrome环境搭建和使用，以下将详细阐述具体步骤： 一、Python版本的Selenium下载 安装Python环境： 确保系统上已经安装了Python 3.8及以上版本。可以从[Python官方网站]下载并安装最新版本的Python，…...

编程日记 2024/12/27 1:23:10

重温设计模式--4、组合模式

文章目录 1 、组合模式（Composite Pattern）概述2. 组合模式的结构3. C 代码示例4. C示例代码25 .应用场景 1 、组合模式（Composite Pattern）概述 定义：组合模式是一种结构型设计模式，它允许你将对象组合成…...

编程日记 2024/12/27 1:22:09

5、mysql的读写分离

主从复制 主从复制的含义 主从复制：在一个mysql的集群当中，至少3台，即主1台，从2台。 当有数据写入时，主负责写入本库，然后把数据同步到从服务器。 一定是在主服务器写入数据，从服务器的写入…...

编程日记 2024/12/27 1:20:06

uniapp Native.js原生arr插件服务发送广播到uniapp页面中

前言 最近搞了个设备，需求是读取m1卡，厂家给了个安卓原生demo，接入arr插件如下，接入后发现还是少了一部分代码，设备服务调起后触发刷卡无法发送到uniapp里。 中间是一些踩坑记录，最后面是解决办法&#xf…...

编程日记 2024/12/27 1:19:05

利用最小二乘法找圆心和半径

#include <iostream> #include <vector> #include <cmath> #include <Eigen/Dense> // 需安装Eigen库用于矩阵运算 // 定义点结构 struct Point { double x, y; Point(double x_, double y_) : x(x_), y(y_) {} }; // 最小二乘法求圆心和半径 …...

编程新知 2025/11/16 10:04:50

应用升级/灾备测试时使用guarantee 闪回点迅速回退

1.场景 应用要升级,当升级失败时,数据库回退到升级前. 要测试系统,测试完成后,数据库要回退到测试前。 相对于RMAN恢复需要很长时间&#xff0c; 数据库闪回只需要几分钟。 2.技术实现 数据库设置 2个db_recovery参数 创建guarantee闪回点&#xff0c;不需要开启数据库闪回。…...

编程新知 2025/7/30 7:20:17

黑马Mybatis

Mybatis 表现层&#xff1a;页面展示 业务层&#xff1a;逻辑处理 持久层&#xff1a;持久数据化保存 在这里插入图片描述 Mybatis快速入门 ![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/6501c2109c4442118ceb6014725e48e4.png //logback.xml <?xml ver…...

编程新知 2025/11/7 20:04:20

Qt Widget类解析与代码注释

#include "widget.h" #include "ui_widget.h"Widget::Widget(QWidget *parent): QWidget(parent), ui(new Ui::Widget) {ui->setupUi(this); }Widget::~Widget() {delete ui; }//解释这串代码&#xff0c;写上注释 当然可以&#xff01;这段代码是 Qt …...

编程新知 2025/11/1 0:38:44

鸿蒙中用HarmonyOS SDK应用服务 HarmonyOS5开发一个医院挂号小程序

一、开发准备 ​​环境搭建​​&#xff1a; 安装DevEco Studio 3.0或更高版本配置HarmonyOS SDK申请开发者账号 ​​项目创建​​&#xff1a; File > New > Create Project > Application (选择"Empty Ability") 二、核心功能实现 1. 医院科室展示 /…...

编程新知 2025/9/5 12:16:40

1.3 VSCode安装与环境配置

进入网址Visual Studio Code - Code Editing. Redefined下载.deb文件&#xff0c;然后打开终端&#xff0c;进入下载文件夹&#xff0c;键入命令 sudo dpkg -i code_1.100.3-1748872405_amd64.deb 在终端键入命令code即启动vscode 需要安装插件列表 1.Chinese简化 2.ros …...

编程新知 2025/11/8 4:55:33

Qt Http Server模块功能及架构

Qt Http Server 是 Qt 6.0 中引入的一个新模块&#xff0c;它提供了一个轻量级的 HTTP 服务器实现&#xff0c;主要用于构建基于 HTTP 的应用程序和服务。 功能介绍&#xff1a; 主要功能 HTTP服务器功能&#xff1a; 支持 HTTP/1.1 协议 简单的请求/响应处理模型 支持 GET…...

编程新知 2025/10/17 21:16:57

React---day11

14.4 react-redux第三方库 提供connect、thunk之类的函数 以获取一个banner数据为例子 store&#xff1a; 我们在使用异步的时候理应是要使用中间件的&#xff0c;但是configureStore 已经自动集成了 redux-thunk&#xff0c;注意action里面要返回函数 import { configureS…...

编程新知 2025/11/13 8:14:48

Linux nano命令的基本使用

参考资料 GNU nanoを使いこなすnano基础 目录 一. 简介二. 文件打开2.1 普通方式打开文件2.2 只读方式打开文件 三. 文件查看3.1 打开文件时&#xff0c;显示行号3.2 翻页查看 四. 文件编辑4.1 Ctrl K 复制 和 Ctrl U 粘贴4.2 Alt/Esc U 撤回 五. 文件保存与退出5.1 Ctrl …...

编程新知 2025/11/12 20:33:25

深度学习之模型压缩三驾马车：模型剪枝、模型量化、知识蒸馏

一、引言 在深度学习中&#xff0c;我们训练出的神经网络往往非常庞大&#xff08;比如像 ResNet、YOLOv8、Vision Transformer&#xff09;&#xff0c;虽然精度很高&#xff0c;但“太重”了&#xff0c;运行起来很慢&#xff0c;占用内存大&#xff0c;不适合部署到手机、摄…...

编程新知 2025/9/24 3:56:34