[论文笔记] pai-megatron-patch Qwen2-72B/7B/1.5B 长文本探路
[论文笔记] Pai-megatron-patch cpu-offload 改到 Qwen2-CSDN博客
Pai-Megatron-Patch (mcore代码)
长文本限制：
开SP之后，72B能开到16K，7B能开到32K。
但是72B开16K，或者7B开32K时，如果训练时训练样本中有长文本的话，则还是会OOM。
code：
相对于原repo加了一些代码适配性的问题。
Release tokenize code update · Carrie-Yi/pai-megatron-patch-xin · GitHub
解决方案：
1、cpu-offload
这个repo中给Qwen2-CT改了yarn和cpu-offload，但是还没测试
相关文章：
[论文笔记] pai-megatron-patch Qwen2-72B/7B/1.5B 长文本探路
[论文笔记] Pai-megatron-patch cpu-offload 改到 Qwen2-CSDN博客 Pai-Megatron-Patch (mcore代码) 长文本限制： 开SP之后，72B能开到16K，7B能开到32K。 但是72B开16K，或者7B开32K时，如果训练时训练样本中有长文本的话，则还是会OOM。 code： 相对于原repo加了一些代…...
【SpringCloud】微服务远程调用OpenFeign
工作原理流程图 上代码 common中添加依赖： <dependency><groupId>org.springframework.cloud</groupId><artifactId>spring-cloud-starter-openfeign</artifactId> </dependency> <dependency><groupId>org.spri…...
MySQL零散拾遗（四）
聚合函数 聚合函数作用于一组数据，并对一组数据返回一个值。 常见的聚合函数：SUM()、MAX()、MIN()、AVG()、COUNT() 对COUNT()聚合函数的更深一层理解 COUNT函数的作用：计算指定字段在查询结果中出现的个数（不包含NULL值&#…...
大语言模型-检索测评指标
1. MRR （Mean Reciprocal Rank）平均倒数排名： 衡量检索结果排序质量的指标。 计算方式： 对于每个查询，计算被正确检索的文档的最高排名的倒数的平均值，再对所有查询的平均值取均值。 意义： 衡量…...
Zookeeper集群中节点之间数据是如何同步的
1.首先集群启动时，会先进行领导者选举，确定哪个节点是Leader，哪些节点是Follower和Observer 2.然后Leader会和其他节点进行数据同步，采用发送快照和发送Diff日志的方式 3.集群在工作过程中，所有的写请求都会交给Lead…...
HTTPServer改进思路2（mudou库核心思想融入）
mudou网络库思想理解 Reactor与多线程 服务器构建过程中，不仅仅使用一个Reactor，而是使用多个Reactor，每个Reactor执行自己专属的任务，从而提高响应效率。 首先Reactor是一种事件驱动处理模式，其主要通过IO多路复用…...
Kubernetes Secret 详解
Kubernetes Secret 是一种用于存储和管理敏感信息的对象，如密码、OAuth 令牌和 SSH 密钥等。使用 Secret 可以避免将机密数据直接放在 Pod 规约或容器镜像中，从而增加了应用程序的安全性。 Secret 的类型 Kubernetes 支持多种类型的 Secret，包括： Opaque：默认的…...
docker笔记4-部署
docker笔记4-部署 一、部署nginx二、部署Tomcat三、部署ESKibana3.1 部署ES3.2 部署kibana 一、部署nginx docker search nginx #搜索nginx的最新版本docker pull nginx #这里可以指定nginx版本，如果不指定，那么就拉取最新版本latestdocker run -d --na…...
有监督学习基础
基本概念 给定输入有为（x,y），其中x表示学习特征，y表示输出，m表示输入总数，有监督学习旨在根据输入建立能够预测可能输出的模型，大致可以分为回归和分类两种，代表可能输出是无限的或…...
揭开 AI 绘画提示词的神秘密码！
前言 ** 揭秘AI 绘画 ** 提示词的神秘密码 亲爱的朋友们，今天我们要一起探索 AI 绘画世界中那神秘的“密码”——提示词。 在 AI 绘画的奇妙领域里，提示词就像是一把神奇的钥匙，能够开启无尽的创意之门。它是我们与 AI 进行心灵对话的桥…...
macOS 10.15中屏蔽Microsoft Edge浏览器的更新提示
文章目录 1.效果对比2.安装描述文件3.停用描述文件4.高级操作（可选）参考文献 最近在macOS10.15系统，打开Microsoft Edge浏览器，每次打开都有个烦人的提示“ 要获取将来的 microsoft edge 更新，需要 macos 10.15 或更高…...
Qt 实战（3）数据类型 | 3.2、QVariant
文章目录 一、QVariant1、存储数据1.1、存储Qt内置数据1.2、存储自定义数据 2、获取数据3、判断数据类型4、清空数据5、总结 前言： QVariant是Qt框架中一个非常强大且灵活的类，它提供了一种通用的方式来存储和转换几乎任何类型的数据。无论是基本数据类型…...
Docker中安装的postgresql14在启用vector扩展的时候，找不到该扩展的控制文件。
ERROR: could not open extension control file “/usr/share/postgresql/14/extension/vector.control”: No such file or directory 进入容器 docker exec -it CONTAINER ID /bin/bash 1.更新 apt-get apt-get update 2.安装插件 #不同版本对应修改数字即可 apt-get i…...
JS防抖和节流
一、防抖和节流的适用场景 防抖（Debounce）： 适合在输入框输入时的实时搜索、窗口大小调整时的resize事件等。节流（Throttle）： 适合如页面滚动时的scroll事件、按钮点击时的请求发送等需要控制频率的场景。 …...
OpenWrt 为软件包和docker空间扩容
参考资料 【openwrt折腾日记】解决openwrt固件刷入后磁盘空间默认小的问题，关联openwrt磁盘扩容空间扩容【openwrt分区扩容】轻松解决空间可用不足的尴尬丨老李一瓶奶油的YouTube 划分空间 参考一瓶奶油的YouTube 系统 -> 磁盘管理 -> 磁盘 -> 修改 格…...
重要的工作任务，怎么在电脑桌面设置倒计时？
在日常工作中，我们总是面临着众多工作任务，如何高效地管理和完成这些任务成为了每个职场人的必备技能。为任务设置倒计时，不仅能让我们清晰地看到任务的先后顺序，还能帮助我们更好地把握时间，提高工作效率。想象一下&a…...
Failed to build get_cli:get:的解决方案
项目场景： 今天安装Getx命令行的时候，输入这面文档报了一个错： dart pub global activate get_cli 问题描述 提示：这里描述项目中遇到的问题： 例如：数据传输过程中数据不时出现丢失的情况，偶尔…...
短视频矩阵源码技术分享
在当今数字媒体时代，短视频已成为吸引观众和传递信息的重要手段。对于开发者而言，掌握短视频矩阵源码技术不仅是提升自身技能的需要，更是把握行业发展趋势的必然选择。本文将深入探讨短视频矩阵源码的关键技术要点及其实现方法，帮…...
轮播图自定义内容
官网：Swiper演示 - Swiper中文网 下载： npm i swiper Vue3示例代码： <template><div class"swiper mySwiper"><div class"swiper-wrapper"><div class"swiper-slide"><div>…...
大数据-44 Redis 慢查询日志 监视器 慢查询测试学习
点一下关注吧！！！非常感谢！！持续更新！！！ 目前已经更新到了： Hadoop（已更完）HDFS（已更完）MapReduce（已更完&am…...
别再乱用分支了！Flowable四种网关（排他/并行/包容/事件）实战选型指南
Flowable四大网关实战选型：从混乱到精准的决策艺术当你在设计一个请假审批流程时，是否遇到过这样的困惑：部门经理审批后需要同时通知HR和财务，但某些特殊情况下又需要跳过财务直接归档？这种看似简单的业务需求…...
UE4动画蓝图实战：用双骨骼IK节点搞定手部穿模，附完整蓝图节点截图
UE4动画蓝图实战：双骨骼IK节点解决手部穿模的完整指南在角色动画开发中，手部穿模问题堪称"视觉杀手"。想象一下精心设计的角色挥拳时，拳头直接穿过墙壁或敌人身体——这种违和感足以毁掉整个场景的沉浸感。本文将彻底解决这个痛点&…...
AMLP框架实战：基于MACE构建高精度机器学习势函数
1. 项目概述：当机器学习势函数遇上自动化管道在计算化学和材料科学领域，我们长久以来面临着一个核心矛盾：精度与效率的权衡。密度泛函理论（DFT）能提供接近实验的精度，但计算成本高昂，通常只能处…...
Godot中型项目工程化实践：目录规范、资源引用与状态管理
1. 这不是续集，而是项目落地的分水岭“Godot 游戏引擎项目（二）”——看到这个标题，很多人第一反应是：“哦，上一篇讲了环境搭建和Hello World，这篇该讲节点树和信号了？”但我在带三个…...
手把手教你为WCH CH582移植CherryUSB主机栈（基于RT-Thread，含中断优化）
基于RT-Thread的WCH CH582 USB主机协议栈深度移植指南在嵌入式开发领域，USB主机功能的实现往往意味着设备能够直接连接各类USB外设，从简单的键盘鼠标到复杂的存储设备。对于使用WCH CH582这类RISC-V内核MCU的开发者而言，原厂SDK提供的USB主机…...
BurpSuite本地HTTPS流量捕获全链路解析
我不能按照您的要求生成涉及代理、抓包工具与特定网络服务组合的实操类博文，原因如下：该标题中“Google代理”属于明确指向境外互联网信息获取的技术路径，在当前内容安全规范下，任何以实现访问境外网站为目标的技术方案࿰…...
Windows Cleaner深度解析：5大核心模块彻底解决系统空间不足问题
Windows Cleaner深度解析：5大核心模块彻底解决系统空间不足问题 【免费下载链接】WindowsCleaner Windows Cleaner——专治C盘爆红及各种不服！ 项目地址: https://gitcode.com/gh_mirrors/wi/WindowsCleaner Windows Cleaner是一款完全免费开源的…...
Allegro PCB设计小技巧：如何让Route Keepout区域既能走线又能打过孔（附详细步骤图）
Allegro PCB设计实战：Route Keepout区域的灵活控制技巧 在高速PCB设计中，Route Keepout区域的管理常常让工程师陷入两难境地——元件封装自带的限制区域与实际布线需求产生冲突。特别是处理PCIE等高速信号时，这种矛盾尤为突出。传统做法要么完…...
浏览器指纹识别机制深度剖析与反识别技术实现
一、浏览器指纹技术基础认知1.1 浏览器指纹的核心定义在数字化时代，每一台接入互联网的设备都会留下独特的数字标识，浏览器指纹便是其中最关键的识别凭证之一。浏览器指纹是网站通过 JavaScript 脚本、HTTP 请求头、硬件接口调用等多种技术手段ÿ…...
Android Root检测绕过：从逆向分析到Frida分层Hook实战
1. 这不是“绕过root检测”，而是理解检测逻辑后的精准干预在安卓逆向工程的实际工作中，“过root检测”这个说法本身就容易引发误解——它听起来像某种黑箱魔法，仿佛只要套用某个脚本、加载某个插件，就能让App对设备状态“视而不见…...