当前位置： 首页 > news >正文

分布式调度框架学习笔记

news 2026/2/10 20:42:30

一、分布式调度框架的基本设计

在这里插入图片描述

二、线程池线程数量设置的基本逻辑

cpu是分时复用的方法，线程是cpu调度的最小单元
在这里插入图片描述
如果当前cpu核数是n，计算密集型线程数一般设为n，io密集型(包括磁盘io和网络io)线程数一般设置为2n.

计算密集型线程数一般设为n的逻辑解释：
在这里插入图片描述
io密集型(包括磁盘io和网络io)线程数一般设置为2n的逻辑解释：
在这里插入图片描述

三、xxljob为什设置的线程是100，200？

在这里插入图片描述

四、power-job的无锁化设计

1. 任务分片

设计理念：在分布式环境中，任务通常被分成多个子任务（分片）并行执行。无锁化设计通过减少对共享资源的竞争来提高并发性能。
实现方式：PowerJob 通过将任务分片分配给不同的执行节点，避免了多个节点对同一资源的竞争，从而减少了锁的使用。

2. 去中心化调度

设计理念：去中心化调度意味着调度决策不依赖于单一的中心节点，从而避免了中心节点的性能瓶颈和单点故障。
实现方式：PowerJob 采用去中心化的调度策略，允许各个节点独立地进行任务调度和执行，减少了对中心节点的依赖。

3. 无状态设计

设计理念：无状态设计意味着每个节点不依赖于其他节点的状态信息，从而减少了锁的使用。
实现方式：PowerJob 的节点设计为无状态，任务的状态信息存储在外部持久化存储中（如数据库），节点通过查询持久化存储来获取任务状态。
在这里插入图片描述
在这里插入图片描述

五、分布式调度框架对比

在这里插入图片描述
在这里插入图片描述
ElasticJob相对xxl-job和power-job的对比：
在这里插入图片描述
备注：
推荐课程：
【分布式调度中心power-job中固定延迟任务调度问题】https://www.bilibili.com/video/BV1Qb421B7n8?vd_source=3c00905b4271effeeee3f3184045c49b

相关文章：

分布式调度框架学习笔记

一、分布式调度框架的基本设计 二、线程池线程数量设置的基本逻辑 cpu是分时复用的方法，线程是cpu调度的最小单元 如果当前cpu核数是n，计算密集型线程数一般设为n，io密集型(包括磁盘io和网络io)线程数一般设置为2n. 计算密集型线程数一般设…...

编程日记 2024/12/27 2:13:03

SpringCloudAlibaba技术栈-Nacos

1、什么是Nacos？ Nacos是个服务中心，就是你项目每个功能模块都会有个名字，比如支付模块,我们先给这个模块起个名字就叫paymentService,然后将这个名字和这个模块的配置放到Nacos中，其他模块也是这样的。好处是这样能更好地管理项…...

编程日记 2024/12/27 2:12:02

Redis篇--常见问题篇4--大Key（Big Key，什么是大Key，影响及使用建议）

1、概述 大Key：通常是指值（Value）的长度非常大，实际上键（Key）长度很大也算。通常来说，键本身不会很长，占用的内存较少，因此判断一个键是否为bigKey主要看它对应的值的大…...

编程日记 2024/12/27 2:07:56

谷歌浏览器 Chrome 提示：此扩展程序可能很快将不再受支持

问题现象 在Chrome 高版本上的扩展管理页面（地址栏输入chrome://extensions/或者从界面进入）： ， 可以查看到扩展的情况。 问题现象大致如图: 问题原因 出现此问题的根本原因在于：谷歌浏览器本身的扩展机制发生了…...

编程日记 2024/12/27 2:04:52

WebRTC服务质量（10）- Pacer机制（02) RoundRobinPacketQueue

WebRTC服务质量（01）- Qos概述 WebRTC服务质量（02）- RTP协议 WebRTC服务质量（03）- RTCP协议 WebRTC服务质量（04）- 重传机制（01) RTX NACK概述 WebRTC服务质量（…...

编程日记 2024/12/27 1:59:48

数据库的数据被清除了，该如何恢复？

当数据库的数据被清除时，恢复数据的难度和可能性取决于多种因素，包括数据清除的方式、数据库的类型、是否有备份等。以下是一些常见的数据库数据恢复方法： 一、基于备份的恢复 使用备份文件： 如果数据库有定期的备份&#xff0c…...

编程日记 2024/12/27 1:46:37

【西安电子科技大学考研】25官方复试专业课参考书目汇总

初试已经顺利考完啦、成绩已经公布，现在已经有很多同学来问学长学姐，复试参考书有哪些，复试应该做好哪些准备。故此学长学姐给大家整理好了西安电子科技大学各个学院的复试参考书目录，有需要的同学可以参考一下哈。大家可以结合本…...

编程日记 2024/12/27 1:44:34

【理解机器学习中的过拟合与欠拟合】

在机器学习中，模型的表现很大程度上取决于我们如何平衡“过拟合”和“欠拟合”。本文通过理论介绍和代码演示，详细解析过拟合与欠拟合现象，并提出应对策略。主要内容如下： 什么是过拟合和欠拟合？ 如何防止过拟合和欠拟…...

编程日记 2024/12/27 1:43:34

fastjson诡异报错

1、环境以及报错描述 1.1 环境 操作系统为中标麒麟、cpu 为国产鲲鹏服务器。 jdk为openjdk version 1.8.0._242 1.2 错误 com.alibaba.fastjson2.JSONException: syntax error : f at com.alibaba.fastjson2.JSONReaderUTF16.readBoolValue(JSONReaderUTF16.java:6424) at c…...

编程日记 2024/12/27 1:42:33

面经zhenyq

如何去实现分层的动画效果？ 在Unity中实现分层的动画效果，可以通过Animator的 Layer 功能实现。以下是详细步骤： 1. 什么是分层动画？ 分层动画允许在同一个角色的不同部分同时播放独立的动画。例如： 上半身可以播放…...

编程日记 2024/12/27 1:39:28

GoFrame框架介绍

GoFrame是一款功能强大、设计精良且易用的Go语言开发框架，以下为你详细介绍它的相关特点和内容： ### 框架概述 GoFrame是为了提升Go语言开发者的编码效率以及项目的整体可维护性、可扩展性等而打造的开发框架，它涵盖了从基础的网络通信、数据…...

编程日记 2024/12/27 1:36:24

MapReduce工作流程+Shuffle机制

一、Mapreduce工作流程 （1）数据切片Split。数据切片数决定maptask并行度，默认情况下，一个切片大小块大小。切片不是针对整体数据集，而是针对每一个文件单独切片，所以会有小文件问题（CombineTex…...

编程日记 2024/12/27 1:35:23

JAVA8 Stream API 使用详解

Java 8 引入了 Stream API，它提供了对集合对象进行一系列操作的新方式，包括筛选、转换、聚合等。Stream API 的设计目标是提供一种高效且易于使用的处理集合数据的方式，同时支持并行处理。 以下是 Java 8 Stream API 的一些核心概念和使用详解…...

编程日记 2024/12/27 1:34:22

Redis 集群架构：高可用与扩展性

一、引言 在当今数字化时代，数据量呈爆炸式增长，对数据存储和处理的要求也越来越高。Redis作为一款高性能的键值对存储数据库，其集群架构在应对高并发、大数据量场景时展现出了独特的优势，成为众多企业构建高效、稳定系统的关键技…...

编程日记 2024/12/27 1:33:21

Redis数据对象

基本结构图 key和value指向的是redisObject对象 type：标识该对象用的是什么类型（String、List Redis数据结构 SDS SDS有4个属性： len：记录了字符串长度，因此获取字符串长度的时候时间复杂度O（1&#xff…...

编程日记 2024/12/27 1:25:12

Docker部署GitLab服务器

一、GitLab介绍 1.1 GitLab简介 GitLab 是一款基于 Git 的开源代码托管平台，集成了版本控制、代码审查、问题跟踪、持续集成与持续交付（CI/CD）等多种功能，旨在为团队提供一站式的项目管理解决方案。借助 GitLab，开发…...

编程日记 2024/12/27 1:24:11

python版本的Selenium的下载及chrome环境搭建和简单使用

针对Python版本的Selenium下载及Chrome环境搭建和使用，以下将详细阐述具体步骤： 一、Python版本的Selenium下载 安装Python环境： 确保系统上已经安装了Python 3.8及以上版本。可以从[Python官方网站]下载并安装最新版本的Python，…...

编程日记 2024/12/27 1:23:10

重温设计模式--4、组合模式

文章目录 1 、组合模式（Composite Pattern）概述2. 组合模式的结构3. C 代码示例4. C示例代码25 .应用场景 1 、组合模式（Composite Pattern）概述 定义：组合模式是一种结构型设计模式，它允许你将对象组合成…...

编程日记 2024/12/27 1:22:09

5、mysql的读写分离

主从复制 主从复制的含义 主从复制：在一个mysql的集群当中，至少3台，即主1台，从2台。 当有数据写入时，主负责写入本库，然后把数据同步到从服务器。 一定是在主服务器写入数据，从服务器的写入…...

编程日记 2024/12/27 1:20:06

uniapp Native.js原生arr插件服务发送广播到uniapp页面中

前言 最近搞了个设备，需求是读取m1卡，厂家给了个安卓原生demo，接入arr插件如下，接入后发现还是少了一部分代码，设备服务调起后触发刷卡无法发送到uniapp里。 中间是一些踩坑记录，最后面是解决办法&#xf…...

编程日记 2024/12/27 1:19:05

XML Group端口详解

在XML数据映射过程中，经常需要对数据进行分组聚合操作。例如，当处理包含多个物料明细的XML文件时，可能需要将相同物料号的明细归为一组，或对相同物料号的数量进行求和计算。传统实现方式通常需要编写脚本代码，增加了开…...

编程新知 2026/2/9 13:51:46

Linux应用开发之网络套接字编程(实例篇)

服务端与客户端单连接 服务端代码 #include <sys/socket.h> #include <sys/types.h> #include <netinet/in.h> #include <stdio.h> #include <stdlib.h> #include <string.h> #include <arpa/inet.h> #include <pthread.h> …...

编程新知 2026/2/9 16:57:53

【Oracle APEX开发小技巧12】

有如下需求&#xff1a; 有一个问题反馈页面&#xff0c;要实现在apex页面展示能直观看到反馈时间超过7天未处理的数据&#xff0c;方便管理员及时处理反馈。 我的方法&#xff1a;直接将逻辑写在SQL中&#xff0c;这样可以直接在页面展示 完整代码&#xff1a; SELECTSF.FE…...

编程新知 2026/2/7 17:35:15

在 Nginx Stream 层“改写”MQTT ngx_stream_mqtt_filter_module

1、为什么要修改 CONNECT 报文&#xff1f; 多租户隔离&#xff1a;自动为接入设备追加租户前缀&#xff0c;后端按 ClientID 拆分队列。零代码鉴权&#xff1a;将入站用户名替换为 OAuth Access-Token&#xff0c;后端 Broker 统一校验。灰度发布&#xff1a;根据 IP/地理位写…...

编程新知 2025/8/1 10:20:23

P3 QT项目----记事本（3.8）

3.8 记事本项目总结 项目源码 1.main.cpp #include "widget.h" #include <QApplication> int main(int argc, char *argv[]) {QApplication a(argc, argv);Widget w;w.show();return a.exec(); } 2.widget.cpp #include "widget.h" #include &q…...

编程新知 2026/2/1 6:56:36

现代密码学 | 椭圆曲线密码学—附py代码

Elliptic Curve Cryptography 椭圆曲线密码学&#xff08;ECC&#xff09;是一种基于有限域上椭圆曲线数学特性的公钥加密技术。其核心原理涉及椭圆曲线的代数性质、离散对数问题以及有限域上的运算。 椭圆曲线密码学是多种数字签名算法的基础&#xff0c;例如椭圆曲线数字签…...

编程新知 2026/2/6 7:30:33

WEB3全栈开发——面试专业技能点P2智能合约开发（Solidity）

一、Solidity合约开发 下面是 Solidity 合约开发 的概念、代码示例及讲解&#xff0c;适合用作学习或写简历项目背景说明。 &#x1f9e0; 一、概念简介&#xff1a;Solidity 合约开发 Solidity 是一种专门为 以太坊&#xff08;Ethereum&#xff09;平台编写智能合约的高级编…...

编程新知 2026/1/27 9:33:09

2023赣州旅游投资集团

单选题 1.“不登高山&#xff0c;不知天之高也&#xff1b;不临深溪&#xff0c;不知地之厚也。”这句话说明_____。 A、人的意识具有创造性 B、人的认识是独立于实践之外的 C、实践在认识过程中具有决定作用 D、人的一切知识都是从直接经验中获得的 参考答案: C 本题解…...

编程新知 2025/11/8 16:42:13

LINUX 69 FTP 客服管理系统 man 5 /etc/vsftpd/vsftpd.conf

FTP 客服管理系统 实现kefu123登录&#xff0c;不允许匿名访问&#xff0c;kefu只能访问/data/kefu目录&#xff0c;不能查看其他目录 创建账号密码 useradd kefu echo 123|passwd -stdin kefu [rootcode caozx26420]# echo 123|passwd --stdin kefu 更改用户 kefu 的密码…...

编程新知 2026/2/9 20:16:17

深度学习之模型压缩三驾马车：模型剪枝、模型量化、知识蒸馏

一、引言 在深度学习中&#xff0c;我们训练出的神经网络往往非常庞大&#xff08;比如像 ResNet、YOLOv8、Vision Transformer&#xff09;&#xff0c;虽然精度很高&#xff0c;但“太重”了&#xff0c;运行起来很慢&#xff0c;占用内存大&#xff0c;不适合部署到手机、摄…...

编程新知 2025/9/24 3:56:34