当前位置： 首页 > news >正文

大模型知识学习

news 2026/5/25 16:58:14

大模型训练过程

数据清洗
  • 拟人化描述：知识库整理
预训练
  • 拟人化描述：知识学习
  • 可以使用基于BERT预训练模型进行训练
指令微调
  • 拟人化描述：实际工作技能学习
  • 实际操作：让大模型模仿具体的输入输出进行拟合，即模仿学习
强化学习
  • 拟人化描述：价值观学习
  • 实际操作：通过奖励算法（RLHF）来实现价值观对齐

大模型拓展

为什么要拓展

大模型与小模型共同使用相同的神经网络模型结构与预训练方法，大模型展现出来的各种能力的指数级增长，其最大的原因就是因为参数规模拓展导致的，所以要探索如何做好规模拓展

拓展方式1：KM拓展法则
  • 法则介绍：该法则描述了模型规模、数据规模、算力之间的关系，根据关系，可以进行资源的调整，以达到效率最优的模型训练效果

相关文章：

大模型知识学习

大模型训练过程 数据清洗 拟人化描述：知识库整理 预训练 拟人化描述：知识学习可以使用基于BERT预训练模型进行训练 指令微调 拟人化描述：实际工作技能学习实际操作：让大模型模仿具体的输入输出进行拟合，即模仿学…...

编程日记 2024/7/5 4:37:16

JAVA声明数组

一、声明并初始化数组 直接初始化：在声明数组的同时为其分配空间并初始化元素。 int[] numbers {1, 2, 3, 4, 5}; 动态初始化：先声明数组，再为每个元素分配初始值。 double[] decimals;decimals new double[5]; // 分配空间，但…...

编程日记 2024/7/5 4:33:12

VBA通过Range对象实现Excel的数据写入

前言 本节会介绍通过VBA中的Range对象，来实现Excel表格中的单元格写入、区域范围写入，当然也可以写入不同类型的数据，如数值、文本、公式，以及实现公式下拉自动填充的功能。 一、单元格输入数据 1.通过Value方法实现输入不同类型…...

编程日记 2024/7/5 4:32:11

记录OSPF配置，建立邻居失败的过程

1.配置完ospf后，在路由表中不出现ospf相关信息 [SW2]ospf [SW2-ospf-1]are [SW2-ospf-1]area 0 [SW2-ospf-1-area-0.0.0.0]net [SW2-ospf-1-area-0.0.0.0]network 0.0.0.0 Jul 4 2024 22:11:58-08:00 SW2 DS/4/DATASYNC_CFGCHANGE:OID 1.3.6.1.4.1.2011.5.25 .1…...

编程日记 2024/7/5 4:31:10

算法体系-25 第二十五节：窗口内最大值或最小值的更新结构

一 滑动窗口设计知识点 滑动窗口是什么？ 滑动窗口是一种想象出来的数据结构： 滑动窗口有左边界L和有边界R 在数组或者字符串或者一个序列上，记为S，窗口就是S[L..R]这一部分 L往右滑意味着一个样本出了窗口，R往右滑意味…...

编程日记 2024/7/5 4:30:09

等保2.0中还有哪些针对云计算的安全要求？

等保2.0中针对云计算的安全要求概述 等保2.0是中国信息安全等级保护制度的升级版，它对云计算环境提出了一系列特定的安全要求，以确保云服务的安全性和合规性。以下是一些关键的云计算安全扩展要求： 基础设施位置：要求云计算基础…...

编程日记 2024/7/5 4:29:08

数组与 ArrayList 的区别是什么？

在Java中，数组和ArrayList都是非常常见的数据结构，但它们在使用场景、特点和功能上各有千秋。 理解它们的不同，对于初级Java工程师来说，是提升编程技能的一个重要环节。 下面，我将以一种简单明了的方式，对…...

编程日记 2024/7/5 4:28:07

华为OD机考题(HJ50 四则运算)

前言 经过前期的数据结构和算法学习，开始以OD机考题作为练习题，继续加强下熟练程度。 描述 输入一个表达式（用字符串表示），求这个表达式的值。 保证字符串中的有效字符包括[‘0’-‘9’],‘’,‘-’, ‘*’,‘/’ …...

编程日记 2024/7/5 4:25:03

SpringBoot实现文章点赞功能

提示：今日是2024年的6月30日，未来的你看到这篇文章，希望你依旧快乐 文章目录 前言 首先在这里前缀部分我就不做要求了,比如说登录信息什么的 数据库表格 这里实现点赞功能，主要是围绕论坛项目完成的 user_info代表用户信息表 for…...

编程日记 2024/7/5 4:24:02

产品经理系列1—如何实现一个电商系统

具体笔记如下，主要按获客—找货—下单—售后四个部分进行模块拆解...

编程日记 2024/7/5 4:23:01

论文翻译 | (DSP)展示-搜索-预测：为知识密集型自然语言处理组合检索和语言模型

摘要 检索增强式上下文学习已经成为一种强大的方法，利用冻结语言模型 (LM) 和检索模型 (RM) 来解决知识密集型任务。现有工作将这些模型结合在简单的“检索-读取”流程中，其中 RM 检索到的段落被插入到 LM 提示中。 为了充分发挥冻结 LM 和 RM 的…...

编程日记 2024/7/5 4:20:59

1.（vue3.x+vite）实现卷帘效果

前端技术社区总目录（订阅之前请先查看该博客） 1：效果预览 2：代码编写 <template><div style="width...

编程日记 2024/7/5 4:18:57

HMI 的 UI 风格成就经典

HMI 的 UI 风格成就经典...

编程日记 2024/7/5 4:16:55

金融（基金）行业信创国产化特点及统一身份认证解决方案

金融业在政策支持及自主驱动下&#xff0c;金融信创取得快速发展。从2020年开始&#xff0c;三期试点已扩容至5000余家&#xff0c;进入全面推广阶段。而基金行业信创建设与银行、证券、保险这些试点行业相比&#xff0c;进展较为缓慢。 基金行业信创当前面临的问题 与多家基…...

编程日记 2024/7/5 4:15:53

透过 Go 语言探索 Linux 网络通信的本质

大家好&#xff0c;我是码农先森。 前言 各种编程语言百花齐放、百家争鸣&#xff0c;但是 “万变不离其中”。对于网络通信而言&#xff0c;每一种编程语言的实现方式都不一样&#xff1b;但其实&#xff0c;调用的底层逻辑都是一样的。linux 系统底层向上提供了统一的 Sock…...

编程日记 2024/7/5 4:14:52

【C语言】—— 文件操作（下）

【C语言】—— 文件操作&#xff08;下&#xff09; 前言&#xff1a;五、文件的顺序读写5.1、 顺序读写函数介绍5.2、 f p u t c fputc fputc 函数5.3、 f g e t c fgetc fgetc 函数5.4、 f p u t s fputs fputs 函数5.5、 f g e t s fgets fgets 函数5.6、 f p r i n t f…...

编程日记 2024/7/5 4:12:49

np.argsort

函数解释 np.argsort是NumPy库中的一个函数&#xff0c;用于对数组进行排序并返回排序后的索引。它不会直接对数组进行排序&#xff0c;而是返回一个数组&#xff0c;这个数组中的元素是原数组中元素按升序排序后的索引。 numpy.argsort(a, axis-1, kindNone, orderNone) 参…...

编程日记 2024/7/5 4:10:46

ORC与Parquet列式存储的区别

ORC与Parquet列式存储 1、ORC与Parquet列式存储2、ORC与Parquet的区别 列式存储&#xff08;Columnar Storage&#xff09;是一种优化的数据存储方式&#xff0c;与传统的行式存储&#xff08;Row Storage&#xff09;相比&#xff0c;列式存储在数据压缩、查询性能、I/O效率等…...

编程日记 2024/7/5 4:06:42

析构函数和拷贝构造函数

文章目录 析构函数1.析构函数的定义&#xff1a;2.析构函数的语法&#xff1a;3.析构函数的特性&#xff1a; 拷贝构造函数1.拷贝构造函数的定义&#xff1a;2.拷贝构造函数的语法3.拷贝构造函数的特性(1)拷贝构造函数是构造函数的一个重载形式**(这个其实也很好理解&#xff0…...

编程日记 2024/7/5 4:04:40

sql server启动、连接 与 navicat连接sql server

一、sql server 启动 1.搜索cmd->以管理员身份运行 2.输入以下命令 net start mssqlserver 3.服务器启动成功 二、sql server连接 1.打开ssms&#xff0c;输入&#xff0c;连接 2.右键&#xff0c;属性 3.连接&#xff0c;勾选允许远程连接到此服务器 三、navicat连接sq…...

编程日记 2024/7/5 4:03:37

前馈补偿技术：用数字预失真驯服放大器非线性失真

1. 项目概述&#xff1a;用前馈补偿驯服放大器失真在音频发烧友和硬件工程师的圈子里&#xff0c;追求“高保真”几乎是一种信仰。我们总希望从扬声器里传出的声音&#xff0c;是录音现场或音乐制作人意图的完美复刻&#xff0c;纤毫毕现&#xff0c;不带一丝杂质。然而&#x…...

编程新知 2026/5/25 16:52:47

Windows Cleaner如何5步解决C盘爆红问题？完全指南助你释放宝贵空间

Windows Cleaner如何5步解决C盘爆红问题&#xff1f;完全指南助你释放宝贵空间 【免费下载链接】WindowsCleaner Windows Cleaner——专治C盘爆红及各种不服&#xff01; 项目地址: https://gitcode.com/gh_mirrors/wi/WindowsCleaner 你是否曾经面对C盘爆红的警告束手无…...

编程新知 2026/5/25 16:04:29

SpringBoot WebClient 介绍

目录一、什么是 WebClient&#xff1f;二、 WebClient 能解决什么问题&#xff1f;三、WebClient 和 RestTemplate 的区别四、WebClient 的核心优势1. 非阻塞&#xff08;Non-Blocking&#xff09;2. 支持异步3. 链式 API 更现代五、WebClient 的核心对象六、Mono 和 Flux 是什…...

编程新知 2026/5/25 15:43:43

无声输入革命：如何用Chaplin在5分钟内构建本地唇语识别系统

无声输入革命&#xff1a;如何用Chaplin在5分钟内构建本地唇语识别系统 【免费下载链接】chaplin A real-time silent speech recognition tool. 项目地址: https://gitcode.com/gh_mirrors/chapl/chaplin 在嘈杂的办公室、安静的图书馆&#xff0c;或是需要绝对隐私的医…...

编程新知 2026/5/25 14:50:02

动物森友会岛屿设计终极指南：用Happy Island Designer打造梦想岛屿

动物森友会岛屿设计终极指南&#xff1a;用Happy Island Designer打造梦想岛屿 【免费下载链接】HappyIslandDesigner "Happy Island Designer (Alpha)"&#xff0c;是一个在线工具&#xff0c;它允许用户设计和定制自己的岛屿。这个工具是受游戏《动物森友会》(Anim…...

编程新知 2026/5/25 14:19:40

如何永久备份微信聊天记录：3步完成数据导出的终极指南

如何永久备份微信聊天记录&#xff1a;3步完成数据导出的终极指南 【免费下载链接】WeChatMsg 提取微信聊天记录&#xff0c;将其导出成HTML、Word、CSV文档永久保存&#xff0c;对聊天记录进行分析生成年度聊天报告 项目地址: https://gitcode.com/GitHub_Trending/we/WeCha…...

编程新知 2026/5/25 13:37:43

3步掌握ROS虚拟机器人：零硬件算法验证全攻略

3步掌握ROS虚拟机器人&#xff1a;零硬件算法验证全攻略 【免费下载链接】wpr_simulation 项目地址: https://gitcode.com/gh_mirrors/wp/wpr_simulation 想象一下这个场景&#xff1a;深夜两点&#xff0c;你终于调试完了最新的SLAM算法&#xff0c;准备在真实机器人上…...

编程新知 2026/5/25 13:21:07

别光看手册！手把手教你读懂气体放电管（GDT）的6个关键参数，选型不踩坑

气体放电管实战选型指南&#xff1a;从参数表到电路设计的6个关键决策点 每次打开气体放电管&#xff08;GDT&#xff09;的英文数据手册&#xff0c;面对密密麻麻的参数表格和波形图&#xff0c;不少工程师都会陷入选择困难——这些数值到底如何影响实际电路保护效果&#xf…...

编程新知 2026/5/25 12:50:51

别再死记硬背公式了！用UE5的Lerp节点玩转材质混合（附灰度图实战案例）

别再死记硬背公式了&#xff01;用UE5的Lerp节点玩转材质混合&#xff08;附灰度图实战案例&#xff09;在游戏开发中&#xff0c;材质混合是创造丰富视觉效果的关键技术。对于Unreal Engine 5的初学者来说&#xff0c;LinearInterpolate&#xff08;简称Lerp&#xff09;节点可…...

编程新知 2026/5/25 12:46:49

解决WSL中RViz全屏闪烁和字体缩小情况

针对WSL中&#xff0c;ROS2-humble打开RViz2全屏后&#xff0c;地图闪烁的情况&#xff1a;我从网上找&#xff0c;问了ai&#xff0c;试了很多种方法&#xff0c;终于找到一种适合我的方法&#xff0c;有相同情况的朋友可以试一试&#xff0c;但是不保证你的问题和解决方法与我…...

编程新知 2026/5/25 11:21:21