当前位置： 首页 > news >正文

分布式调度框架学习笔记

news 2026/2/10 23:06:38

一、分布式调度框架的基本设计

在这里插入图片描述

二、线程池线程数量设置的基本逻辑

cpu是分时复用的方法，线程是cpu调度的最小单元
在这里插入图片描述
如果当前cpu核数是n，计算密集型线程数一般设为n，io密集型(包括磁盘io和网络io)线程数一般设置为2n.

计算密集型线程数一般设为n的逻辑解释：
在这里插入图片描述
io密集型(包括磁盘io和网络io)线程数一般设置为2n的逻辑解释：
在这里插入图片描述

三、xxljob为什设置的线程是100，200？

在这里插入图片描述

四、power-job的无锁化设计

1. 任务分片

设计理念：在分布式环境中，任务通常被分成多个子任务（分片）并行执行。无锁化设计通过减少对共享资源的竞争来提高并发性能。
实现方式：PowerJob 通过将任务分片分配给不同的执行节点，避免了多个节点对同一资源的竞争，从而减少了锁的使用。

2. 去中心化调度

设计理念：去中心化调度意味着调度决策不依赖于单一的中心节点，从而避免了中心节点的性能瓶颈和单点故障。
实现方式：PowerJob 采用去中心化的调度策略，允许各个节点独立地进行任务调度和执行，减少了对中心节点的依赖。

3. 无状态设计

设计理念：无状态设计意味着每个节点不依赖于其他节点的状态信息，从而减少了锁的使用。
实现方式：PowerJob 的节点设计为无状态，任务的状态信息存储在外部持久化存储中（如数据库），节点通过查询持久化存储来获取任务状态。
在这里插入图片描述
在这里插入图片描述

五、分布式调度框架对比

在这里插入图片描述
在这里插入图片描述
ElasticJob相对xxl-job和power-job的对比：
在这里插入图片描述
备注：
推荐课程：
【分布式调度中心power-job中固定延迟任务调度问题】https://www.bilibili.com/video/BV1Qb421B7n8?vd_source=3c00905b4271effeeee3f3184045c49b

相关文章：

分布式调度框架学习笔记

一、分布式调度框架的基本设计 二、线程池线程数量设置的基本逻辑 cpu是分时复用的方法，线程是cpu调度的最小单元 如果当前cpu核数是n，计算密集型线程数一般设为n，io密集型(包括磁盘io和网络io)线程数一般设置为2n. 计算密集型线程数一般设…...

编程日记 2024/12/27 2:13:03

SpringCloudAlibaba技术栈-Nacos

1、什么是Nacos？ Nacos是个服务中心，就是你项目每个功能模块都会有个名字，比如支付模块,我们先给这个模块起个名字就叫paymentService,然后将这个名字和这个模块的配置放到Nacos中，其他模块也是这样的。好处是这样能更好地管理项…...

编程日记 2024/12/27 2:12:02

Redis篇--常见问题篇4--大Key（Big Key，什么是大Key，影响及使用建议）

1、概述 大Key：通常是指值（Value）的长度非常大，实际上键（Key）长度很大也算。通常来说，键本身不会很长，占用的内存较少，因此判断一个键是否为bigKey主要看它对应的值的大…...

编程日记 2024/12/27 2:07:56

谷歌浏览器 Chrome 提示：此扩展程序可能很快将不再受支持

问题现象 在Chrome 高版本上的扩展管理页面（地址栏输入chrome://extensions/或者从界面进入）： ， 可以查看到扩展的情况。 问题现象大致如图: 问题原因 出现此问题的根本原因在于：谷歌浏览器本身的扩展机制发生了…...

编程日记 2024/12/27 2:04:52

WebRTC服务质量（10）- Pacer机制（02) RoundRobinPacketQueue

WebRTC服务质量（01）- Qos概述 WebRTC服务质量（02）- RTP协议 WebRTC服务质量（03）- RTCP协议 WebRTC服务质量（04）- 重传机制（01) RTX NACK概述 WebRTC服务质量（…...

编程日记 2024/12/27 1:59:48

数据库的数据被清除了，该如何恢复？

当数据库的数据被清除时，恢复数据的难度和可能性取决于多种因素，包括数据清除的方式、数据库的类型、是否有备份等。以下是一些常见的数据库数据恢复方法： 一、基于备份的恢复 使用备份文件： 如果数据库有定期的备份&#xff0c…...

编程日记 2024/12/27 1:46:37

【西安电子科技大学考研】25官方复试专业课参考书目汇总

初试已经顺利考完啦、成绩已经公布，现在已经有很多同学来问学长学姐，复试参考书有哪些，复试应该做好哪些准备。故此学长学姐给大家整理好了西安电子科技大学各个学院的复试参考书目录，有需要的同学可以参考一下哈。大家可以结合本…...

编程日记 2024/12/27 1:44:34

【理解机器学习中的过拟合与欠拟合】

在机器学习中，模型的表现很大程度上取决于我们如何平衡“过拟合”和“欠拟合”。本文通过理论介绍和代码演示，详细解析过拟合与欠拟合现象，并提出应对策略。主要内容如下： 什么是过拟合和欠拟合？ 如何防止过拟合和欠拟…...

编程日记 2024/12/27 1:43:34

fastjson诡异报错

1、环境以及报错描述 1.1 环境 操作系统为中标麒麟、cpu 为国产鲲鹏服务器。 jdk为openjdk version 1.8.0._242 1.2 错误 com.alibaba.fastjson2.JSONException: syntax error : f at com.alibaba.fastjson2.JSONReaderUTF16.readBoolValue(JSONReaderUTF16.java:6424) at c…...

编程日记 2024/12/27 1:42:33

面经zhenyq

如何去实现分层的动画效果？ 在Unity中实现分层的动画效果，可以通过Animator的 Layer 功能实现。以下是详细步骤： 1. 什么是分层动画？ 分层动画允许在同一个角色的不同部分同时播放独立的动画。例如： 上半身可以播放…...

编程日记 2024/12/27 1:39:28

GoFrame框架介绍

GoFrame是一款功能强大、设计精良且易用的Go语言开发框架，以下为你详细介绍它的相关特点和内容： ### 框架概述 GoFrame是为了提升Go语言开发者的编码效率以及项目的整体可维护性、可扩展性等而打造的开发框架，它涵盖了从基础的网络通信、数据…...

编程日记 2024/12/27 1:36:24

MapReduce工作流程+Shuffle机制

一、Mapreduce工作流程 （1）数据切片Split。数据切片数决定maptask并行度，默认情况下，一个切片大小块大小。切片不是针对整体数据集，而是针对每一个文件单独切片，所以会有小文件问题（CombineTex…...

编程日记 2024/12/27 1:35:23

JAVA8 Stream API 使用详解

Java 8 引入了 Stream API，它提供了对集合对象进行一系列操作的新方式，包括筛选、转换、聚合等。Stream API 的设计目标是提供一种高效且易于使用的处理集合数据的方式，同时支持并行处理。 以下是 Java 8 Stream API 的一些核心概念和使用详解…...

编程日记 2024/12/27 1:34:22

Redis 集群架构：高可用与扩展性

一、引言 在当今数字化时代，数据量呈爆炸式增长，对数据存储和处理的要求也越来越高。Redis作为一款高性能的键值对存储数据库，其集群架构在应对高并发、大数据量场景时展现出了独特的优势，成为众多企业构建高效、稳定系统的关键技…...

编程日记 2024/12/27 1:33:21

Redis数据对象

基本结构图 key和value指向的是redisObject对象 type：标识该对象用的是什么类型（String、List Redis数据结构 SDS SDS有4个属性： len：记录了字符串长度，因此获取字符串长度的时候时间复杂度O（1&#xff…...

编程日记 2024/12/27 1:25:12

Docker部署GitLab服务器

一、GitLab介绍 1.1 GitLab简介 GitLab 是一款基于 Git 的开源代码托管平台，集成了版本控制、代码审查、问题跟踪、持续集成与持续交付（CI/CD）等多种功能，旨在为团队提供一站式的项目管理解决方案。借助 GitLab，开发…...

编程日记 2024/12/27 1:24:11

python版本的Selenium的下载及chrome环境搭建和简单使用

针对Python版本的Selenium下载及Chrome环境搭建和使用，以下将详细阐述具体步骤： 一、Python版本的Selenium下载 安装Python环境： 确保系统上已经安装了Python 3.8及以上版本。可以从[Python官方网站]下载并安装最新版本的Python，…...

编程日记 2024/12/27 1:23:10

重温设计模式--4、组合模式

文章目录 1 、组合模式（Composite Pattern）概述2. 组合模式的结构3. C 代码示例4. C示例代码25 .应用场景 1 、组合模式（Composite Pattern）概述 定义：组合模式是一种结构型设计模式，它允许你将对象组合成…...

编程日记 2024/12/27 1:22:09

5、mysql的读写分离

主从复制 主从复制的含义 主从复制：在一个mysql的集群当中，至少3台，即主1台，从2台。 当有数据写入时，主负责写入本库，然后把数据同步到从服务器。 一定是在主服务器写入数据，从服务器的写入…...

编程日记 2024/12/27 1:20:06

uniapp Native.js原生arr插件服务发送广播到uniapp页面中

前言 最近搞了个设备，需求是读取m1卡，厂家给了个安卓原生demo，接入arr插件如下，接入后发现还是少了一部分代码，设备服务调起后触发刷卡无法发送到uniapp里。 中间是一些踩坑记录，最后面是解决办法&#xf…...

编程日记 2024/12/27 1:19:05

rknn优化教程（二）

文章目录 1. 前述2. 三方库的封装2.1 xrepo中的库2.2 xrepo之外的库2.2.1 opencv2.2.2 rknnrt2.2.3 spdlog 3. rknn_engine库 1. 前述 OK，开始写第二篇的内容了。这篇博客主要能写一下： 如何给一些三方库按照xmake方式进行封装，供调用如何按…...

编程新知 2025/6/11 15:25:30

聊聊 Pulsar：Producer 源码解析

一、前言 Apache Pulsar 是一个企业级的开源分布式消息传递平台，以其高性能、可扩展性和存储计算分离架构在消息队列和流处理领域独树一帜。在 Pulsar 的核心架构中，Producer（生产者） 是连接客户端应用与消息队列的第一步。生产者…...

编程新知 2026/2/5 21:34:41

STM32标准库-DMA直接存储器存取

文章目录 一、DMA1.1简介1.2存储器映像1.3DMA框图1.4DMA基本结构1.5DMA请求1.6数据宽度与对齐1.7数据转运DMA1.8ADC扫描模式DMA 二、数据转运DMA2.1接线图2.2代码2.3相关API 一、DMA 1.1简介 DMA（Direct Memory Access）直接存储器存取 DMA可以提供外设…...

编程新知 2026/1/26 10:55:51

智能在线客服平台：数字化时代企业连接用户的 AI 中枢

随着互联网技术的飞速发展，消费者期望能够随时随地与企业进行交流。在线客服平台作为连接企业与客户的重要桥梁，不仅优化了客户体验，还提升了企业的服务效率和市场竞争力。本文将探讨在线客服平台的重要性、技术进展、实际应用，并…...

编程新知 2026/2/4 17:51:19

MySQL中【正则表达式】用法

MySQL 中正则表达式通过 REGEXP 或 RLIKE 操作符实现（两者等价），用于在 WHERE 子句中进行复杂的字符串模式匹配。以下是核心用法和示例： 一、基础语法 SELECT column_name FROM table_name WHERE column_name REGEXP pattern; …...

编程新知 2025/11/21 22:02:37

Java面试专项一-准备篇

一、企业简历筛选规则 一般企业的简历筛选流程：首先由HR先筛选一部分简历后，在将简历给到对应的项目负责人后再进行下一步的操作。 HR如何筛选简历 例如：Boss直聘（招聘方平台） 直接按照条件进行筛选 例如&#xff1a…...

编程新知 2026/1/26 19:10:48

html-＜abbr＞ 缩写或首字母缩略词

定义与作用 <abbr> 标签用于表示缩写或首字母缩略词&#xff0c;它可以帮助用户更好地理解缩写的含义&#xff0c;尤其是对于那些不熟悉该缩写的用户。 title 属性的内容提供了缩写的详细说明。当用户将鼠标悬停在缩写上时&#xff0c;会显示一个提示框。 示例&#x…...

编程新知 2026/1/24 19:22:03

基于IDIG-GAN的小样本电机轴承故障诊断

目录 🔍 核心问题 一、IDIG-GAN模型原理 1. 整体架构 2. 核心创新点 (1) ​梯度归一化（Gradient Normalization）​​ (2) ​判别器梯度间隙正则化（Discriminator Gradient Gap Regularization）​​ (3) ​自注意力机制（Self-Attention）​​ 3. 完整损失函数 二…...

编程新知 2026/1/31 10:58:46

力扣热题100 k个一组反转链表题解

题目: 代码: func reverseKGroup(head *ListNode, k int) *ListNode {cur : headfor i : 0; i < k; i {if cur nil {return head}cur cur.Next}newHead : reverse(head, cur)head.Next reverseKGroup(cur, k)return newHead }func reverse(start, end *ListNode) *ListN…...

编程新知 2026/1/31 8:25:07

2025年渗透测试面试题总结-腾讯[实习]科恩实验室-安全工程师（题目+回答）

安全领域各种资源&#xff0c;学习文档&#xff0c;以及工具分享、前沿信息分享、POC、EXP分享。不定期分享各种好玩的项目及好用的工具&#xff0c;欢迎关注。 目录 腾讯[实习]科恩实验室-安全工程师 一、网络与协议 1. TCP三次握手 2. SYN扫描原理 3. HTTPS证书机制 二…...

编程新知 2026/1/27 2:41:27