集合通讯概览
集合通信概览
（1）通信的算法 是根据通讯的链路组成的
（2）因为通信链路 跟硬件强相关，所以每个CCL的库都不一样
芯片与芯片、不同U之间是怎么通信的
多卡训练：多维并行（xxx并行在上一期已经讲述过…）
计算与通信解耦
计算与通信解耦：分布式加速库
☆☆☆ 从加速库 -> NPU 的执行过程
（1）硬件的排布 跟 组网拓扑、XCCL 非常的强相关；XCCL 跟 网络拓扑 强相关
（2）分布式加速库：MindSpeed
（3）在计算的时候，用户调用pytorch等AI框架，计算在单机里面就用到了AI的框架了，
（4）在通信的时候，就会把一些张量放到一些桶里面，当桶满的时候/满足某些条件的时候，MindSpeed加速库 就会控制张量 什么时候去调用集合通信库的接口/源语 P2P all2all 相关的内容
（5）
（1）XCCL跟链路层、物理层强相关，所以各个公司都有自己的XCCL；
（2）具体XCCL实现了什么功能呢？---- 参照《XCCL、NCCL、HCCL通信库》
（2）all2all 等相关的接口还是保持跟NCCL一致，方便用户调用
通信算法
不同AI时期对通讯的诉求
大模型对AI集群训练的诉求：大带宽、强同步
集合通讯的难点
相关文章：
集合通讯概览
集合通信概览 （1）通信的算法 是根据通讯的链路组成的 （2）因为通信链路 跟硬件强相关，所以每个CCL的库都不一样 芯片与芯片、不同U之间是怎么通信的 多卡训练：多维并行（xxx并行在上一期已经讲述…...
【FreeRTOS 教程 八】直达任务通知
目录 一、FreeRTOS 直达任务通知： （1）直达任务通知基本介绍： （2）更新目标通知的值： （3）性能优势和使用限制： 二、直达任务通知 API： &#…...
Ubuntu 18.04安装Emacs 26.2问题解决
个人博客地址：Ubuntu 18.04安装Emacs 26.2问题解决 | 一张假钞的真实世界 no X development libraries were found checking for X... no checking for X... true configure: error: You seem to be running X, but no X development libraries were found. You …...
nodejs：js-mdict 的下载、安装、测试、build
js-mdict 项目的目录结构：js-mdict 项目教程 js-mdict 下载地址: js-mdict-master.zip 先解压到 D:\Source\ js-mdict 6.0.2 用了 ts (TypeScript) 和 Jest，增加了应用开发的难度，因为先要了解 ts 和 Jest。 参阅：测试与开发&a…...
CSS关系选择器详解
CSS关系选择器详解 学习前提什么是关系选择器？后代选择器（Descendant Combinator）语法示例注意事项 子代选择器（Child Combinator）语法示例注意事项 邻接兄弟选择器（Adjacent Sibling Combinator࿰…...
Python在线编辑器
from flask import Flask, render_template, request, jsonify import sys from io import StringIO import contextlib import subprocess import importlib import threading import time import ast import reapp Flask(__name__)RESTRICTED_PACKAGES {tkinter: 抱歉&…...
蓝桥杯备考：高精度算法之除法
我们除法的高精度其实也不完全是高精度，而是一个高精度作被除数除以一个低精度 模拟我们的小学除法 由于题目中我们的除数最大是1e9，当它真正是1e9的时候，t是有可能超过1e9的，所以要用long long...
笔试-业务逻辑4
应用 小明在玩一个数字加减游戏，输入4个正整数：s、t、a、b，其中s>1，b<105，a!b。只使用加法或者减法，使得st。 每回合，小明用当前的数字，加上或减去一个数字；目前有…...
《Linux服务与安全管理》| 数据库服务器安装和配置
《Linux服务与安全管理》| 数据库服务器安装和配置 目录 《Linux服务与安全管理》| 数据库服务器安装和配置 任务一： 安装PostgreSQL数据库，设置远程登录，客户端可以成功登录并操作数据库。 任务二： 安装MySQL数据库…...
麦芯 (MachCore) 应用开发教程 6：一台设备中多台电脑主从机的设置
麦芯是构建在windows系统上的设备应用操作系统，利用该系统可以快速高效的开发一款设备专用软件。希望进一步了解请email: acloud163.com 黄国强 2025/02/03 在麦芯（MachCore）应用开发过程中，多机协同工作的场景十分常见…...
RAG 与历史信息相结合
初始化模型 # Step 4. 初始化模型, 该行初始化与 智谱 的 GLM - 4 模型进行连接，将其设置为处理和生成响应。 chat ChatZhipuAI(model"glm-4",temperature0.8, ) 此提示告诉模型接收聊天历史记录和用户的最新问题，然后重新表述问题&#x…...
99,[7] buuctf web [羊城杯2020]easyphp
进入靶场 <?php// 使用 scandir 函数扫描当前目录（即脚本所在目录）下的所有文件和文件夹// 该函数会返回一个包含目录下所有文件和文件夹名称的数组$files scandir(./); // 遍历扫描得到的文件和文件夹名称数组foreach($files as $file) {// 使用 …...
BUUCTF_[安洵杯 2019]easy_web（preg_match绕过/MD5强碰撞绕过/代码审计）
打开靶场，出现下面的静态html页面，也没有找到什么有价值的信息。 查看页面源代码 在url里发现了img传参还有cmd 求img参数 这里先从img传参入手，这里我发现img传参好像是base64的样子 进行解码，解码之后还像是base64的样子再次进…...
Vue05
目录 一、学习目标 1.自定义指令 2.插槽 3.综合案例：商品列表 4.路由入门 二、自定义指令 1.指令介绍 2.自定义指令 3.自定义指令的语法 三、自定义指令-指令的值 1.需求 2.语法 3.代码示例 五、插槽-默认插槽 1.作用 2.需求 4.使用插槽的基本语法…...
ubuntu18.04环境下，Zotero 中pdf translate划线后不翻译问题解决
问题： 如果使用fastgithub，在/etc/profile中设置全局代理，系统重启后会产生划线后不翻译的问题，包括所有翻译代理均不行。终端中取消fastgithub代理，也不行。 解决： 1）不在/etc/profile中设置…...
基于Python的简单企业维修管理系统的设计与实现
以下是一个基于Python的简单企业维修管理系统的设计与实现，这里我们会使用Flask作为Web框架，SQLite作为数据库来存储相关信息。 1. 需求分析 企业维修管理系统主要功能包括： 维修工单的创建、查询、更新和删除。设备信息的管理。维修人员…...
【C++】B2120 单词的长度
博客主页： [小ᶻ☡꙳ᵃⁱᵍᶜ꙳] 本文专栏: C 文章目录 💯前言💯题目描述💯我的做法代码实现：思路解析： 💯老师的第一种做法代码实现：思路解析： 💯老师的…...
2501,编写dll
DLL的优点 简单的说,dll有以下几个优点: 1)节省内存.同一个软件模块,若是源码重用,则会在不同可执行程序中编译,同时运行这些exe时,会在内存中重复加载这些模块的二进制码. 如果使用dll,则只在内存中加载一次,所有使用该dll的进程会共享此块内存(当然,每个进程会复制一份的d…...
【router路由的配置】
router路由的配置 App.vuerouter在main.ts引入插件 App.vue <template><RouterView /> </template><script setup lang"ts"></script><style scoped lang"scss"></style>router import { createRouter, creat…...
算法基础——一致性
引入 最早研究一致性的场景既不是大数据领域，也不是分布式系统，而是多路处理器。 可以将多路处理器理解为单机计算机系统内部的分布式场景，它有多个执行单元，每一个执行单元都有自己的存储(缓存)，一个执行单元修改了…...
如何用Obsidian主页插件打造你的专属数字工作台？
如何用Obsidian主页插件打造你的专属数字工作台？ 【免费下载链接】obsidian-homepage Obsidian homepage - Minimal and aesthetic template (with my unique features) 项目地址: https://gitcode.com/gh_mirrors/obs/obsidian-homepage 你是否厌倦了每次打…...
仅限内部测试者知晓：Midjourney未公开的--detail boost隐式指令（实测使睫毛/织物/金属反光细节识别率提升3.2倍）
更多请点击： https://intelliparadigm.com 第一章：Midjourney图像放大与细节增强 Midjourney v6 及后续版本原生支持高分辨率图像生成与智能细节增强，其核心能力不仅依赖于模型权重，更通过 --zoom 2、--style raw 和 --s 750 等参…...
拆解彩虹电热毯的IC闭环温控：LM358P芯片与微触发可控硅BY406的电路分析
彩虹电热毯IC闭环温控系统深度解析：从LM358P到BY406的工程智慧 电热毯作为冬季居家必备的取暖设备，其温控系统的可靠性直接关系到用户安全与使用体验。彩虹1503型电热毯采用的IC闭环控制方案，代表了当前中高端电热毯的技术路线。本文将跳出常…...
的5个实战骚操作，让你的代码更灵活)
别再只会用点号了！Python里getattr()的5个实战骚操作，让你的代码更灵活
别再只会用点号了！Python里getattr()的5个实战骚操作，让你的代码更灵活 在Python开发中，我们经常需要动态地访问对象的属性和方法。虽然直接使用点号(.)是最常见的做法，但在某些场景下，getattr()函数能带来更灵活、更优…...
mmdetection环境搭建避坑指南：从CUDA版本、pip源到Gitee镜像的全流程优化
MMDetection环境搭建全流程优化：从版本匹配到镜像加速的实战指南 在计算机视觉领域，OpenMMLab系列工具包已经成为许多研究者和开发者的首选。作为其中的核心检测库，MMDetection凭借其模块化设计和丰富的预训练模型，极大地简化了目…...
Docker部署RabbitMQ后，你的admin账号真的能连上吗？一个权限配置的深度踩坑实录
Docker部署RabbitMQ后admin账号连接失败的深度排查指南 当你用Docker快速部署了RabbitMQ，创建了admin用户，甚至能通过Web界面登录，却在代码中遭遇ACCESS_REFUSED错误时，那种挫败感我深有体会。这不是简单的密码错误问题࿰…...
Kali on WSL避坑大全：从换源、装工具到解决图形界面Terminal报错，一篇搞定
Kali on WSL实战避坑指南：从基础配置到图形界面全流程解决方案 在Windows系统上运行Kali Linux一直是安全研究人员和开发者的刚需，而WSL（Windows Subsystem for Linux）的出现让这一需求变得更加便捷。然而，从安装到真正…...
基于Next.js 15与Sanity CMS构建高性能个人网站的技术实践
1. 项目概述：一个现代开发者的个人网站是如何炼成的 如果你是一名开发者，想搭建一个既能展示个人作品、又能写写技术博客，同时还得兼顾设计感和性能的个人网站，那么你大概率会和我一样，在技术选型上纠结很久。是直接用…...
Arccos Golf数据获取与Python分析实战：开源工具包逆向工程API
1. 项目概述：一个高尔夫数据爱好者的开源工具箱 如果你和我一样，既是个高尔夫爱好者，又对数据分析和自动化工具着迷，那么你很可能听说过Arccos Golf这个平台。它是一个通过传感器和手机应用来追踪每一次击球、分析球场表现的系统。…...
量子误差缓解技术与BBGKY层次结构的应用
1. 量子误差缓解的现状与挑战在当前的NISQ（噪声中等规模量子）时代，量子计算机的实际应用面临着一个根本性障碍：量子噪声。与经典计算机不同，量子比特极易受到环境干扰，导致计算错误。这种噪声主要来源于量子…...