当前位置：首页 > news >正文

大型语言模型LLM的核心概念

news 2026/2/7 14:38:57

本文主要介绍了目前主流的，几个大型语言模型LLM的整个训练过程

通常分为下面的几个阶段

1. 预训练

采用互联网上的大量数据进行训练，这一阶段大模型LLM的主体已定，找出共性并且压缩成一个模型。模型的参数量不是越大越好，遵循合理、适中的原则。增加数据量并保持中到大型的参数规模，则是一个成本与模型效果的平衡之后的合理方案

2. 微调

大型语言模型中，绝大部分的知识都是在预训练中学习的。

这阶段需要喂给精确的、高质量的问答数据给大模型，可以使用相对较少的数据，来继续训练模型，以适应特定问题和场景

对于每个问题，大模型都会给 3 个回答，需要人类手动选择一个最优的回答，给大模型一个反馈，来帮助大模型进一步优化和提升。

3. 模型对齐

使用预期回答模板，套入大模型生成的回答，实现模型和预测的对齐。这有助于符合正当的合法的目的，同时遵守人类最基本的情感、道德、底线、公序良俗以及符合当地的风俗习惯等等

大型语言模型LLM的核心概念

本文主要介绍了目前主流的，几个大型语言模型LLM的整个训练过程通常分为下面的几个阶段 1. 预训练采用互联网上的大量数据进行训练，这一阶段大模型LLM的主体已定，找出共性并且压缩成一个模型。模型的参数量不是越大越好，遵循合理…...

编程日记 2024/7/29 6:21:01

软件测试---网络基础、HTTP

一、网络基础 （1）Web和网络知识网络基础TCP/IP 使用HTTP协议访问Web WWW万维网的诞生 WWW万维网的构成 （2）IP协议 （3）可靠传输的TCP和三次握手策略 （4）域名解析服务DNS &#xff0…...

编程日记 2024/7/29 6:17:57

韩顺平0基础学java——第39天

p820-841 jdbc和连接池 1.JDBC为访问不同的数据库提供了统一的接口，为使用者屏蔽了细节问题。 2.Java程序员使用JDBC，可以连接任何提供了JDBC驱动程序的数据库系统，从而完成对数据库的各种操作。 3.jdbc原理图 JDBC带来的好处 2.JDBC带来的…...

编程日记 2024/7/29 6:16:54

Linux文件恢复

很麻烦一般还是小心最好特别恢复的时候可能不能选择某个文件夹去扫描恢复所以删除的时候用rm -i代替rm 一定小心以及探索下linux的垃圾箱机制注意一定要恢复到不同文件夹省的出问题法1 系统自带工具 debugfs 但是好像不能重启？ testdisk 1、安装 …...

编程日记 2024/7/29 6:13:51

大数据的数据质量有效提升的研究

大数据的数据质量有效提升是一个涉及多个环节和维度的复杂过程。以下是从数据采集、处理、管理到应用等方面，对大数据数据质量有效提升的研究概述： 一、数据采集阶段明确采集需求：在数据采集前，需明确数据需求，包括…...

编程日记 2024/7/29 6:12:50

Flink-CDC解析（第47天）

前言本文主要概述了Flink-CDC. 1. CDC 概述 1.1 什么是CDC？ CDC是（Change Data Capture 变更数据获取）的简称 ，在广义的概念上，只要是能捕获数据变更的技术，都可以称之为 CDC。核心思想是&#xff0c…...

编程日记 2024/7/29 6:10:48

二阶段测试

二阶段测试 1、部署框架前准备工作服务器类型部署组件ip地址DR1调度服务器主（ha01）KeepalivedLVS-DR192.168.168.21DR2调度服务器备 (ha02)KeepalivedLVS-DR192.168.168.22web1节点服务器 (slave01)NginxTomcatMySQL 备MHA managerMHA node192.168.1…...

编程日记 2024/7/29 6:08:46

题目传送门 yjq的吉祥数题解送分题，暴力枚举即可 Code #include<bits/stdc.h> using namespace std;int l,r; int num1,tmp0,q[10000],a[10000]; int k (int x){for (int j1;j<tmp;j){if (xq[j])return 0;}return 1; } int main(){while (num<100…...

编程日记 2024/7/29 6:04:43

【PostgreSQL案例】我要查的表没有在执行计划中

问题：查的表没有在执行计划中 sql： SELECT* FROM(SELECTA.column1 as "column1",--中间省略很多A字段A.column99 as "column99"fromtable_a Aleft join (SELECTlzl_idfromtable_a AAinner join table_b BB ON AA.lzl_key BB.lzl_…...

编程日记 2024/7/29 6:03:42

《程序猿入职必会（5） · CURD 页面细节规范》

📢 大家好，我是【战神刘玉栋】，有10多年的研发经验，致力于前后端技术栈的知识沉淀和传播。 💗 🌻 CSDN入驻不久，希望大家多多支持，后续会继续提升文章质量，绝不滥竽充数…...

编程日记 2024/7/29 6:02:40

操作系统面试知识点总结5

#来自ウルトラマンメビウス（梦比优斯） 1 IO管理概述 1.1 I/O 设备 I/O 设备的类型分类。 1.1.1 按使用特性人机交互类外部设备，例如打印机、显示器等。存储设备，例如磁盘、光盘等。网络通信设备，例如网络接口等。 1…...

编程日记 2024/7/29 6:01:39

BigInteger和BigDecimal类

一、应用场景 1. BigInteger 类目前，我们学过最大的是long类型，但是，在实际开发时候，很有可能遇见超出long类型范围的数，我们就需要用BigInteger类； ① add 加 ② subtract 减 ③ multiply 乘…...

编程日记 2024/7/29 5:57:36

2024最新Uniapp的H5网页版添加谷歌授权验证

现在教程不少，但是自从谷歌升级验证之后，以前的老教程就失效了，现在写一个新教程以备不时之需。由于众所周知的特殊原因，开发的时候一定注意网络环境，如果没有梯子是无法进行开发的哦~ clientID的申请方式我就不再进…...

编程日记 2024/7/29 5:53:31

学习java第一百四十四天

Spring通知有哪些类型？ 在AOP术语中，切面的工作被称为通知。通知实际上是程序运行时要通过Spring AOP框架来触发的代码段。 Spring切面可以应用5种类型的通知： 前置通知（Before）：在目标方法被调用之前调用通…...

编程日记 2024/7/29 5:52:30

Meta 发布 Llama3.1，一站教你如何推理、微调、部署大模型

最近这一两周看到不少互联网公司都已经开始秋招提前批了。不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解…...

编程日记 2024/7/29 5:51:29

XSSFWorkbook 和 SXSSFWorkbook 的区别

在现代办公环境中，处理 Excel 文件是一个常见的任务。Apache POI 是一个流行的 Java 库，能够读写 Microsoft Office 文档。对于处理 Excel 文件，Apache POI 提供了 XSSFWorkbook 和 SXSSFWorkbook 两个类。本文将详细介绍这两个类的特点和适用…...

编程日记 2024/7/29 5:50:28

会议主题：NICE Seminar|神经组合优化方法的大规模泛化研究（南方科技大学王振坤副研究员）

数据增强获得更多解 TSP问题最优解与序列无关，数据增强 ICML 2024 Position Rethinking Post-Hoc Search-Based Neural Approaches for Solving Large-Scale Traveling Salesman Problems...

编程日记 2024/7/29 5:43:21

昇思25天学习打卡营第22天|CycleGAN图像风格迁移互换

相关知识 CycleGAN 循环生成网络，实现了在没有配对示例的情况下将图像从源域X转换到目标域Y的方法，应用于域迁移，也就是图像风格迁移。上章介绍了可以完成图像翻译任务的Pix2Pix，但是Pix2Pix的数据必须是成对的。CycleGAN中只需…...

编程日记 2024/7/29 5:42:19

《Java初阶数据结构》----6.＜优先级队列之PriorityQueue底层：堆＞

前言大家好，我目前在学习java。之前也学了一段时间，但是没有发布博客。时间过的真的很快。我会利用好这个暑假，来复习之前学过的内容，并整理好之前写过的博客进行发布。如果博客中有错误或者没有读懂的地方。热烈欢迎大家在评论区…...

编程日记 2024/7/29 5:40:17

Matrix Equation(高斯线性异或消元+bitset优化)

题目： 登录—专业IT笔试面试备考平台_牛客网思路： 我们发现对于矩阵C可以一列一列求。 mod2，当这一行相乘1的个数为奇数时，z(i,j)为1，偶数为0，是异或消元。对于b[i，j]*c[i,j],b[i,j]可以…...

编程日记 2024/7/29 5:39:17

在软件开发中正确使用MySQL日期时间类型的深度解析

在日常软件开发场景中，时间信息的存储是底层且核心的需求。从金融交易的精确记账时间、用户操作的行为日志，到供应链系统的物流节点时间戳，时间数据的准确性直接决定业务逻辑的可靠性。MySQL作为主流关系型数据库，其日期时间类型的…...

编程新知 2025/10/16 13:22:06

Java 语言特性(面试系列1)

一、面向对象编程 1. 封装（Encapsulation） 定义：将数据（属性）和操作数据的方法绑定在一起，通过访问控制符（private、protected、public）隐藏内部实现细节。示例： public …...

编程新知 2025/10/6 4:03:40

在 Nginx Stream 层“改写”MQTT ngx_stream_mqtt_filter_module

1、为什么要修改 CONNECT 报文？ 多租户隔离：自动为接入设备追加租户前缀，后端按 ClientID 拆分队列。零代码鉴权：将入站用户名替换为 OAuth Access-Token，后端 Broker 统一校验。灰度发布：根据 IP/地理位写…...

编程新知 2025/8/1 10:20:23

从零开始打造 OpenSTLinux 6.6 Yocto 系统（基于STM32CubeMX）（九）

设备树移植和uboot设备树修改的内容同步到kernel将设备树stm32mp157d-stm32mp157daa1-mx.dts复制到内核源码目录下源码修改及编译修改arch/arm/boot/dts/st/Makefile，新增设备树编译 stm32mp157f-ev1-m4-examples.dtb \stm32mp157d-stm32mp157daa1-mx.dtb修改…...

编程新知 2026/2/5 12:11:18