[论文笔记] pai-megatron-patch Qwen2-72B/7B/1.5B 长文本探路
[论文笔记] Pai-megatron-patch cpu-offload 改到 Qwen2-CSDN博客
Pai-Megatron-Patch (mcore代码)
长文本限制：
开SP之后，72B能开到16K，7B能开到32K。
但是72B开16K，或者7B开32K时，如果训练时训练样本中有长文本的话，则还是会OOM。
code：
相对于原repo加了一些代码适配性的问题。
Release tokenize code update · Carrie-Yi/pai-megatron-patch-xin · GitHub
解决方案：
1、cpu-offload
这个repo中给Qwen2-CT改了yarn和cpu-offload，但是还没测试
相关文章：
[论文笔记] pai-megatron-patch Qwen2-72B/7B/1.5B 长文本探路
[论文笔记] Pai-megatron-patch cpu-offload 改到 Qwen2-CSDN博客 Pai-Megatron-Patch (mcore代码) 长文本限制： 开SP之后，72B能开到16K，7B能开到32K。 但是72B开16K，或者7B开32K时，如果训练时训练样本中有长文本的话，则还是会OOM。 code： 相对于原repo加了一些代…...
【SpringCloud】微服务远程调用OpenFeign
工作原理流程图 上代码 common中添加依赖： <dependency><groupId>org.springframework.cloud</groupId><artifactId>spring-cloud-starter-openfeign</artifactId> </dependency> <dependency><groupId>org.spri…...
MySQL零散拾遗（四）
聚合函数 聚合函数作用于一组数据，并对一组数据返回一个值。 常见的聚合函数：SUM()、MAX()、MIN()、AVG()、COUNT() 对COUNT()聚合函数的更深一层理解 COUNT函数的作用：计算指定字段在查询结果中出现的个数（不包含NULL值&#…...
大语言模型-检索测评指标
1. MRR （Mean Reciprocal Rank）平均倒数排名： 衡量检索结果排序质量的指标。 计算方式： 对于每个查询，计算被正确检索的文档的最高排名的倒数的平均值，再对所有查询的平均值取均值。 意义： 衡量…...
Zookeeper集群中节点之间数据是如何同步的
1.首先集群启动时，会先进行领导者选举，确定哪个节点是Leader，哪些节点是Follower和Observer 2.然后Leader会和其他节点进行数据同步，采用发送快照和发送Diff日志的方式 3.集群在工作过程中，所有的写请求都会交给Lead…...
HTTPServer改进思路2（mudou库核心思想融入）
mudou网络库思想理解 Reactor与多线程 服务器构建过程中，不仅仅使用一个Reactor，而是使用多个Reactor，每个Reactor执行自己专属的任务，从而提高响应效率。 首先Reactor是一种事件驱动处理模式，其主要通过IO多路复用…...
Kubernetes Secret 详解
Kubernetes Secret 是一种用于存储和管理敏感信息的对象，如密码、OAuth 令牌和 SSH 密钥等。使用 Secret 可以避免将机密数据直接放在 Pod 规约或容器镜像中，从而增加了应用程序的安全性。 Secret 的类型 Kubernetes 支持多种类型的 Secret，包括： Opaque：默认的…...
docker笔记4-部署
docker笔记4-部署 一、部署nginx二、部署Tomcat三、部署ESKibana3.1 部署ES3.2 部署kibana 一、部署nginx docker search nginx #搜索nginx的最新版本docker pull nginx #这里可以指定nginx版本，如果不指定，那么就拉取最新版本latestdocker run -d --na…...
有监督学习基础
基本概念 给定输入有为（x,y），其中x表示学习特征，y表示输出，m表示输入总数，有监督学习旨在根据输入建立能够预测可能输出的模型，大致可以分为回归和分类两种，代表可能输出是无限的或…...
揭开 AI 绘画提示词的神秘密码！
前言 ** 揭秘AI 绘画 ** 提示词的神秘密码 亲爱的朋友们，今天我们要一起探索 AI 绘画世界中那神秘的“密码”——提示词。 在 AI 绘画的奇妙领域里，提示词就像是一把神奇的钥匙，能够开启无尽的创意之门。它是我们与 AI 进行心灵对话的桥…...
macOS 10.15中屏蔽Microsoft Edge浏览器的更新提示
文章目录 1.效果对比2.安装描述文件3.停用描述文件4.高级操作（可选）参考文献 最近在macOS10.15系统，打开Microsoft Edge浏览器，每次打开都有个烦人的提示“ 要获取将来的 microsoft edge 更新，需要 macos 10.15 或更高…...
Qt 实战（3）数据类型 | 3.2、QVariant
文章目录 一、QVariant1、存储数据1.1、存储Qt内置数据1.2、存储自定义数据 2、获取数据3、判断数据类型4、清空数据5、总结 前言： QVariant是Qt框架中一个非常强大且灵活的类，它提供了一种通用的方式来存储和转换几乎任何类型的数据。无论是基本数据类型…...
Docker中安装的postgresql14在启用vector扩展的时候，找不到该扩展的控制文件。
ERROR: could not open extension control file “/usr/share/postgresql/14/extension/vector.control”: No such file or directory 进入容器 docker exec -it CONTAINER ID /bin/bash 1.更新 apt-get apt-get update 2.安装插件 #不同版本对应修改数字即可 apt-get i…...
JS防抖和节流
一、防抖和节流的适用场景 防抖（Debounce）： 适合在输入框输入时的实时搜索、窗口大小调整时的resize事件等。节流（Throttle）： 适合如页面滚动时的scroll事件、按钮点击时的请求发送等需要控制频率的场景。 …...
OpenWrt 为软件包和docker空间扩容
参考资料 【openwrt折腾日记】解决openwrt固件刷入后磁盘空间默认小的问题，关联openwrt磁盘扩容空间扩容【openwrt分区扩容】轻松解决空间可用不足的尴尬丨老李一瓶奶油的YouTube 划分空间 参考一瓶奶油的YouTube 系统 -> 磁盘管理 -> 磁盘 -> 修改 格…...
重要的工作任务，怎么在电脑桌面设置倒计时？
在日常工作中，我们总是面临着众多工作任务，如何高效地管理和完成这些任务成为了每个职场人的必备技能。为任务设置倒计时，不仅能让我们清晰地看到任务的先后顺序，还能帮助我们更好地把握时间，提高工作效率。想象一下&a…...
Failed to build get_cli:get:的解决方案
项目场景： 今天安装Getx命令行的时候，输入这面文档报了一个错： dart pub global activate get_cli 问题描述 提示：这里描述项目中遇到的问题： 例如：数据传输过程中数据不时出现丢失的情况，偶尔…...
短视频矩阵源码技术分享
在当今数字媒体时代，短视频已成为吸引观众和传递信息的重要手段。对于开发者而言，掌握短视频矩阵源码技术不仅是提升自身技能的需要，更是把握行业发展趋势的必然选择。本文将深入探讨短视频矩阵源码的关键技术要点及其实现方法，帮…...
轮播图自定义内容
官网：Swiper演示 - Swiper中文网 下载： npm i swiper Vue3示例代码： <template><div class"swiper mySwiper"><div class"swiper-wrapper"><div class"swiper-slide"><div>…...
大数据-44 Redis 慢查询日志 监视器 慢查询测试学习
点一下关注吧！！！非常感谢！！持续更新！！！ 目前已经更新到了： Hadoop（已更完）HDFS（已更完）MapReduce（已更完&am…...
未来机器人的大脑：如何用神经网络模拟器实现更智能的决策？
编辑：陈萍萍的公主一点人工一点智能 未来机器人的大脑：如何用神经网络模拟器实现更智能的决策？RWM通过双自回归机制有效解决了复合误差、部分可观测性和随机动力学等关键挑战，在不依赖领域特定归纳偏见的条件下实现了卓越的预测准…...
装饰模式（Decorator Pattern）重构java邮件发奖系统实战
前言 现在我们有个如下的需求，设计一个邮件发奖的小系统， 需求 1.数据验证 → 2. 敏感信息加密 → 3. 日志记录 → 4. 实际发送邮件 装饰器模式（Decorator Pattern）允许向一个现有的对象添加新的功能，同时又不改变其…...
Unity3D中Gfx.WaitForPresent优化方案
前言 在Unity中，Gfx.WaitForPresent占用CPU过高通常表示主线程在等待GPU完成渲染（即CPU被阻塞），这表明存在GPU瓶颈或垂直同步/帧率设置问题。以下是系统的优化方案： 对惹，这里有一个游戏开发交流小组&…...
Cilium动手实验室: 精通之旅---20.Isovalent Enterprise for Cilium: Zero Trust Visibility
Cilium动手实验室: 精通之旅---20.Isovalent Enterprise for Cilium: Zero Trust Visibility 1. 实验室环境1.1 实验室环境1.2 小测试 2. The Endor System2.1 部署应用2.2 检查现有策略 3. Cilium 策略实体3.1 创建 allow-all 网络策略3.2 在 Hubble CLI 中验证网络策略源3.3 …...
【C++从零实现Json-Rpc框架】第六弹 —— 服务端模块划分
一、项目背景回顾 前五弹完成了Json-Rpc协议解析、请求处理、客户端调用等基础模块搭建。 本弹重点聚焦于服务端的模块划分与架构设计，提升代码结构的可维护性与扩展性。 二、服务端模块设计目标 高内聚低耦合：各模块职责清晰，便于独立开发…...
AspectJ 在 Android 中的完整使用指南
一、环境配置（Gradle 7.0 适配） 1. 项目级 build.gradle // 注意：沪江插件已停更，推荐官方兼容方案 buildscript {dependencies {classpath org.aspectj:aspectjtools:1.9.9.1 // AspectJ 工具} } 2. 模块级 build.gradle plu…...
python执行测试用例，allure报乱码且未成功生成报告
allure执行测试用例时显示乱码：‘allure’ �����ڲ����ⲿ���Ҳ���ǿ�&am…...
Reasoning over Uncertain Text by Generative Large Language Models
https://ojs.aaai.org/index.php/AAAI/article/view/34674/36829https://ojs.aaai.org/index.php/AAAI/article/view/34674/36829 1. 概述 文本中的不确定性在许多语境中传达，从日常对话到特定领域的文档（例如医学文档）（Heritage 2013；Landmark、Gulbrandsen 和 Svenevei…...
A2A JS SDK 完整教程：快速入门指南
目录 什么是 A2A JS SDK?A2A JS 安装与设置A2A JS 核心概念创建你的第一个 A2A JS 代理A2A JS 服务端开发A2A JS 客户端使用A2A JS 高级特性A2A JS 最佳实践A2A JS 故障排除 什么是 A2A JS SDK? A2A JS SDK 是一个专为 JavaScript/TypeScript 开发者设计的强大库ÿ…...
【Redis】笔记｜第8节｜大厂高并发缓存架构实战与优化
缓存架构 代码结构 代码详情 功能点： 多级缓存，先查本地缓存，再查Redis，最后才查数据库热点数据重建逻辑使用分布式锁，二次查询更新缓存采用读写锁提升性能采用Redis的发布订阅机制通知所有实例更新本地缓存适用读多…...