当前位置： 首页 > news >正文

大模型增量预训练参数说明

news 2026/4/28 0:44:16

在增量预训练过程中通常需要设置三类或四类参数，模型参数，数据参数，训练参数，额外参数。

下面分别针对这四种参数进行说明。

欢迎关注公众号

模型参数

  1. model_type

模型类型，例如bloom,llama，baichuan，qwen等。

  1. model_name_or_path

模型名称或者路径。

  1. tokenizer_name_or_path

分词器名称或者路径。如果进行了词表扩充或裁剪，则tokenizer_name_or_path和model_name_or_path不同。

  1. load_in_8bit

是否以8bit加载模型。

  1. load_in_4bit

是否以4bit加载模型。

  1. use_fast_tokenizer

是否使用快速分词器。

  1. torch_dtype

张量数值类型

  1. device_map

设置指定设备（也就是在哪张显卡上）

数据参数

  1. dataset_name

数据集的名称&#

相关文章：

大模型增量预训练参数说明

在增量预训练过程中通常需要设置三类或四类参数，模型参数，数据参数，训练参数，额外参数。 下面分别针对这四种参数进行说明。 欢迎关注公众号 模型参数 model_type模型类型，例如bloom,llama，baichuan，qwen等。 model_name_or_path模型名称或者路径。 tokenizer_name_or…...

编程日记 2023/11/24 5:10:47

成为AI产品经理——模型评估概述

目录 一、模型宣讲和评估的原因 二、模型宣讲 三、模型评估 1. 重要特征 ① 特征来源 ②特征意义 2.选择测试样本 3.模型性能和稳定性 一、模型宣讲和评估的原因 刘海丰老师提到他们在做一个金融AI产品未注重模型指标，过于注重业务指标，导致产生…...

编程日记 2023/11/24 5:09:45

内存屏障与JVM指令

内存屏障是一种同步原语，用于确保在并发程序中，当一个线程对内存中的数据进行修改后，其他线程可以及时地获取到最新的数据。 内存屏障可以确保指令的执行具有原子性、可见性和顺序性。在JVM中，内存屏障通常通过插入一段特殊的指令…...

编程日记 2023/11/24 5:08:45

深入理解JVM 类加载机制

深入理解JVM 类加载机制 虚拟机如何加载Class文件？ Class文件中的信息进入到虚拟机后会发生什么变化？ 类加载机制就是Java虚拟机把描述类的数据从Class文件加载到内存，并对数据进行校验、转换解析和初始化，最终形成可以被虚拟机…...

编程日记 2023/11/24 5:07:44

SpringCloud微服务 【实用篇】| Eureka注册中心、Ribbon负载均衡

目录 一：Eureka注册中心 1. Eureka原理 2. 动手实践 ①搭建EurekaServer ②服务注册 ③服务发现 二：Ribbon负载均衡 1. 负载均衡原理 2. 负载均衡策略 3. 懒加载 tips：前些天突然发现了一个巨牛的人工智能学习网站，通俗…...

编程日记 2023/11/24 5:06:43

SpringSecurity+JWT权限认证

SpringSecurity默认的是采用Session来判断请求的用户是否登录的，但是不方便分布式的扩展 虽然SpringSecurity也支持采用SpringSession来管理分布式下的用户状态，不过现在分布式的还是无状态的Jwt比较主流 一、创建SpringBoot的项目 spring-boot-starte…...

编程日记 2023/11/24 5:05:42

Tomcat实现WebSocket即时通讯 Java实现WebSocket的两种方式

HTTP协议是“请求-响应”模式，浏览器必须先发请求给服务器，服务器才会响应该请求。即服务器不会主动发送数据给浏览器。 实时性要求高的应用，如在线游戏、股票实时报价和在线协同编辑等，浏览器需实时显示服务器的最新数据&#x…...

编程日记 2023/11/24 5:04:40

安全框架springSecurity+Jwt+Vue-2(后端开发)

一、创建项目及配置 ①&#xff1a;创建新的项目及常用包 ②&#xff1a;引入依赖和配置 devtools&#xff1a;项目的热加载重启插件 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId&…...

编程日记 2023/11/24 5:03:39

6.1.webrc媒体协商

那今天呢&#xff1f;我们来看一下y8 rtc的媒体协商&#xff0c;那实际上在我们之前的课程中呢&#xff1f;我已经向你介绍过y8 rtc的媒体协商了。只不过呢&#xff0c;角度是不一样的&#xff0c;在之前介绍外边tc媒体协商的时候呢&#xff0c;我们是从应用的角度来看。那web …...

编程日记 2023/11/24 5:02:37

Android WebView中打开外部超链接无反应

什么是外部超链接&#xff1f; 相当于是跳转到一个新的网址页面 解决方案选择&#xff1a; 1.在WebView内部中打开外部超链接 设置setSupportMultipleWindows为false即可 webView.settings.setSupportMultipleWindows(false)2.打开系统浏览器打开新页面 设置setSupportMul…...

编程日记 2023/11/24 5:01:37

JMeter集结点的使用场景以及如何使用？

JMeter是一个开源的负载测试工具&#xff0c;它被广泛用于测试应用程序、Web服务和网络协议等的性能。在JMeter中&#xff0c;集结点&#xff08;JMeter Cluster&#xff09;是一种分布式测试环境&#xff0c;它允许多个JMeter实例同时工作来模拟高并发负载。 使用集结点的场景…...

编程日记 2023/11/24 5:00:35

2023最新面试题

第一家 自我介绍介绍一下最近一个&#xff08;最熟悉的一个&#xff09;项目 项目几个人在负责 项目实际在用了吗&#xff0c;哪个平台在用啊&#xff08;在哪里上线&#xff09; 你认为你自己做的项目里面哪个比较难做呢&#xff0c;项目里面有什么难点&#xff1f;常用的是V…...

编程日记 2023/11/24 4:59:34

shell 脚本的函数和数组

函数 —— 封装的一个公式&#xff1a;sin、cos、tan —— 函数为脚本的别名 —— 函数就是一个功能模块&#xff0c;在函数中写执行的命令即可&#xff1b;使用函数可以避免代码重复&#xff0c;增加可读性&#xff0c;简化脚本&#xff0c;使用函数可以将大的工程分割为若…...

编程日记 2023/11/24 4:58:33

【RocketMq系列-02】RocketMq的架构解析和高性能设计

RocketMq系列整体栏目 内容链接地址【一】RocketMq安装和基本概念https://zhenghuisheng.blog.csdn.net/article/details/134486709【二】RocketMq的架构解析和高性能设计/font>https://zhenghuisheng.blog.csdn.net/article/details/134559514 RocketMq的架构解析和高性能设…...

编程日记 2023/11/24 4:57:29

【数据结构/C++】线性表_单链表的基本操作

#include <iostream> using namespace std; // 2. 单链表 // ElemType 的定义 typedef int ElemType; typedef struct LNode {ElemType data;struct LNode *next; } LNode, *LinkList; // 初始化单链表 bool InitList(LinkList &L) {L (LNode *)malloc(sizeof(LNode…...

编程日记 2023/11/24 4:56:27

flink1.13.6版本的应用程序（maven版）

问题 想要一个指定flink版本的java计算任务hello world最简工程。 解决 mvn archetype:generate \-DarchetypeGroupIdorg.apache.flink \-DarchetypeArtifactIdflink-quickstart-java \-DarchetypeVersion1.13.6这里直接使用官方mave模版工程&#xff0c;指…...

编程日记 2023/11/24 4:55:25

深度学习之四（循环神经网络Recurrent Neural Networks，RNNs）

概念 循环神经网络（Recurrent Neural Networks，RNNs）是一类专门用于处理序列数据的神经网络，它在处理时考虑了序列数据的顺序和上下文信息。RNNs 在自然语言处理、时间序列分析、语音识别等领域得到广泛应用。 1. 基本结构： RNN 的基本结构包含一个或多个循环单元，每个…...

编程日记 2023/11/24 4:54:24

【论文精读】HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in Hugging Face

HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in Hugging Face 前言Abstract1 Introduction2 Related Works3 HuggingGPT3.1 Task PlanningSpecification-based InstructionDemonstration-based Parsing 3.2 Model SelectionIn-context Task-model Assignment 3…...

编程日记 2023/11/24 4:53:22

安装gitlab

安装gitlab 环境 关闭防火墙以及selinux&#xff0c;起码4核8G 内存至少 3G 不然启动不了 下载环境 gitlab官网&#xff1a;GitLab下载安装_GitLab最新中文基础版下载安装-极狐GitLab rpm包下载地址&#xff1a; [Yum - Nexus Repository Manager (gitlab.cn)](https://pack…...

编程日记 2023/11/24 4:52:20

Nginx模块开发之http handler实现流量统计（1）

文章目录 一、handler简介二、Nginx handler模块开发2.1、示例代码2.2、编写config文件2.3、编译模块到Nginx源码中2.4、修改conf文件2.5、执行效果 三、Nginx的热更新总结 一、handler简介 Handler模块就是接受来自客户端的请求并产生输出的模块。 配置文件中使用location指令…...

编程日记 2023/11/24 4:50:18

【VS Code Dev Containers 性能调优黄金法则】：20年云原生开发专家亲授，实测启动提速3.8倍、内存降低62%的7大硬核配置技巧

更多请点击&#xff1a; https://intelliparadigm.com 第一章&#xff1a;Dev Containers 性能调优的底层逻辑与评估体系 Dev Containers 的性能瓶颈往往并非来自容器本身&#xff0c;而是源于宿主机资源调度、文件系统挂载策略、网络命名空间隔离强度以及 VS Code Remote-SSH…...

编程新知 2026/4/28 0:06:48

AI数据代理：企业数据分析的革新与挑战

1. AI数据代理&#xff1a;企业数据分析的新范式 在当今数据驱动的商业环境中&#xff0c;企业面临着前所未有的数据管理挑战。根据行业调研&#xff0c;72%的组织数据分散在多个孤立的系统中&#xff0c;82%的企业表示这种碎片化严重影响了关键业务流程的决策效率。传统的数据…...

编程新知 2026/4/27 23:48:05

GitMem：基于Git的开发者代码记忆管理工具设计与实践

1. 项目概述&#xff1a;一个面向开发者的记忆增强工具最近在和一些独立开发者朋友交流时&#xff0c;发现一个普遍存在的痛点&#xff1a;项目做多了&#xff0c;代码写久了&#xff0c;很多曾经用过的精巧实现、解决过的棘手Bug、甚至是自己写过的工具函数&#xff0c;时间一…...

编程新知 2026/4/27 23:08:53

大模型评估指标BQS与CAD原理及应用解析

1. 大模型评估指标BQS与CAD的核心原理在大模型评估领域&#xff0c;Benchmark Quality Score (BQS) 和 Correct Answer Distribution (CAD) 是两个关键指标。BQS通过整合多个评估维度&#xff0c;为模型质量提供综合评分&#xff1b;CAD则通过λ参数调节&#xff0c;将原始反转…...

编程新知 2026/4/27 22:56:30

2026年招牌广告灯箱实力厂商推荐，聚隆运灯箱为何成为连锁品牌首选，赋能商业未来的专业解决方案

行业定位&#xff1a;招牌广告灯箱在商业视觉传达中的核心价值在当今商业环境中&#xff0c;招牌广告灯箱不仅是店铺门面的视觉标识&#xff0c;更是品牌形象传递的重要载体。作为广告行业的基础设施&#xff0c;高品质的招牌广告灯箱能有效提升品牌辨识度&#xff0c;增强夜间…...

编程新知 2026/4/27 22:37:50

为什么你的RISC-V驱动总在QEMU跑通、真机崩溃？深度解析特权级切换与CSR寄存器初始化陷阱

更多请点击&#xff1a; https://intelliparadigm.com 第一章&#xff1a;RISC-V驱动真机适配失败的典型现象与国产化背景 在国产芯片自主可控战略加速推进的背景下&#xff0c;RISC-V 架构正成为嵌入式、边缘计算及服务器级设备的重要技术路径。然而&#xff0c;将上游 Linux…...

编程新知 2026/4/27 22:06:37

梯度提升算法(GBDT)实战：四大库对比与优化技巧

1. 梯度提升算法家族概览在机器学习实战中&#xff0c;梯度提升&#xff08;Gradient Boosting&#xff09;堪称解决结构化数据问题的"瑞士军刀"。不同于随机森林的并行决策树策略&#xff0c;梯度提升采用串行方式构建模型&#xff0c;每一轮都针对前一轮的预测残差…...

编程新知 2026/4/27 21:58:31

专业级AMD Ryzen硬件调试与性能调优终极指南

专业级AMD Ryzen硬件调试与性能调优终极指南 【免费下载链接】SMUDebugTool A dedicated tool to help write/read various parameters of Ryzen-based systems, such as manual overclock, SMU, PCI, CPUID, MSR and Power Table. 项目地址: https://gitcode.com/gh_mirrors…...

编程新知 2026/4/27 20:50:24

Draw.io电子工程绘图库完全指南：3步掌握专业电路设计

Draw.io电子工程绘图库完全指南&#xff1a;3步掌握专业电路设计 【免费下载链接】Draw-io-ECE Custom-made draw.io-shapes - in the form of an importable library - for drawing circuits and conceptual drawings in draw.io. 项目地址: https://gitcode.com/gh_mirrors…...

编程新知 2026/4/27 20:39:51

模板工具：提升工作效率的标准化实践指南

在数字化转型加速的当下&#xff0c;模板工具已从简单的文档复用载体演进为组织知识管理的核心基础设施。通过对高频工作场景的标准化抽象&#xff0c;模板工具能够有效消除重复性劳动中的不确定性&#xff0c;确保输出质量的一致性。无论是代码片段、设计原型还是商务文档&…...

编程新知 2026/4/27 20:19:26