当前位置： 首页 > news >正文

大语言模型（LLM）一般训练过程

news 2026/1/13 8:43:50

大语言模型（LLM）一般训练过程

数据收集与预处理

  • 收集：从多种来源收集海量文本数据，如互联网的新闻文章、博客、论坛，以及书籍、学术论文、社交媒体等，以涵盖丰富的语言表达和知识领域。例如，训练一个通用型的LLM时，可能会收集数十亿甚至上百亿字的文本数据.
  • 清洗：去除数据中的噪声和无关信息，如HTML标签、特殊字符、错误数据、重复项等，还会删除个人敏感信息 。比如，将文本中的“ ”等HTML实体编码替换为对应的空格，删除包含大量乱码或明显错误的文本段落.
  • 分词与标记化：将文本分割成词语或子词的序列，并为每个词语或子词分配一个唯一的标识符。例如，使用空格、标点符号或特定规则将句子“我正在学习自然语言处理”分词为“我”“正在”“学习”“自然语言处理”等 tokens.
  • 构建样本：根据任务需求，将数据组织成训练样本。比如对于语言模型预测下一个词的任务，可以从文本中滑动窗口提取连续的序列作为输入样本，目标是预测下一个词语。假设窗口大小为5，输入样本可以是“我正在学习自然语言”，目标词语则是“处理”.

相关文章：

大语言模型（LLM）一般训练过程

大语言模型（LLM）一般训练过程 数据收集与预处理 收集：从多种来源收集海量文本数据，如互联网的新闻文章、博客、论坛，以及书籍、学术论文、社交媒体等，以涵盖丰富的语言表达和知识领域。例如，训练一个通用型的LLM时，可能会收集数十亿甚至上百亿字的文本数据.清洗：去除…...

编程日记 2024/12/31 20:45:12

单片机的基本组成

单片机，即单芯片微型计算机（Single-Chip Microcomputer），是一种将中央处理器(CPU)、内存、输入输出接口等功能集成在一块集成电路芯片上的微型计算机。它具有体积小、成本低、可靠性高、功耗低等优点，在现代电子产品中…...

编程日记 2024/12/31 20:41:08

GO性能优化的一些记录：trace工具的使用

使用场景： 1 想要查看接口延时性偏高 2 深入了解协程具体如何运营的详细信息（运行时长，或者什么原因导致了协程运行受阻） 可以使用 trace 功能，程序便会对下面的一系列事件进行详细记录，并且会依据所搜集到…...

编程日记 2024/12/31 20:38:03

dede-cms关于shell漏洞

一.文件式管理器 1.新建文件 新建一个php文件，内容写个php脚本语言 访问，可以运行 2.文件上传 上传一个php文件，内容同样写一个php代码 访问，运行成功 二.模块-广告管理 来到模块-广告管理——>增加一个新广告 在这里试一下…...

编程日记 2024/12/31 20:35:00

NAT 技术如何解决 IP 地址短缺问题？

NAT 技术如何解决 IP 地址短缺问题？ 前言 这是我在这个网站整理的笔记,有错误的地方请指出，关注我，接下来还会持续更新。 作者：神的孩子都在歌唱 随着互联网的普及和发展，IP 地址的需求量迅速增加。尤其是 IPv4 地址&…...

编程日记 2024/12/31 20:33:59

使用 IDE生成 Java Doc

使用步骤 Android Studio界面->Tools->Generate JavaDoc zh-CN -encoding UTF-8 -charset UTF-8 -classpath “C:\Users\fangjian\AppData\Local\Android\Sdk\platforms\android-34\android.jar” 报错问题 错误: 目标 17 不允许选项 --boot-class-path 如果你正在使用…...

编程日记 2024/12/31 20:32:58

通过无障碍服务(AccessibilityService)实现Android设备全局水印显示

一、无障碍功能简介 首先我们先来了解下无障碍功能的官方介绍： 无障碍服务仅应用于帮助残障用户使用 Android 设备和应用。它们在后台运行，并在触发 AccessibilityEvents 时接收系统的回调。此类事件表示用户界面中的某些状态转换，例如焦点已…...

编程日记 2024/12/31 20:27:53

flask后端开发（2）：URL与视图

目录 URL定义request获取请求参数 gitcode地址： https://gitcode.com/qq_43920838/flask_project.git URL定义 from flask import FlaskappFlask(__name__)app.route(/) def hello_world():return Hello World!app.route(/profile) def profile():return 我是个人…...

编程日记 2024/12/31 20:23:49

力扣-数据结构-7【算法学习day.78】

前言 ###我做这类文章一个重要的目的还是给正在学习的大家提供方向（例如想要掌握基础用法，该刷哪些题？建议灵神的题单和代码随想录）和记录自己的学习过程，我的解析也不会做的非常详细，只会提供思路和一些关…...

编程日记 2024/12/31 20:20:47

【潜意识Java】Java中深入解析抽象类与接口的差异的完整笔记总结【保姆级详细教程】

目录 一、抽象类和接口的基本概念 （一）抽象类是什么 （二）接口是什么 二、抽象类和接口的设计目的差异 （一）抽象类的设计初衷 （二）接口的设计意图 三、抽象类和接口的语法特性…...

编程日记 2024/12/31 20:19:45

【Flink运行时架构】系统构架

SMP架构 数据处理系统的架构最简单的实现方式就是单节点，但是随着数据量的增大，为了使单节点的机器性能更加强大，需要增加CPU数量和加大内存来提高吞吐量。这就是所谓的SMP(Symmetrical Multi Processing,对称多处理)架构。 但是这种架构带来…...

编程日记 2024/12/31 20:18:43

uni-ui样式修改

因为之前官网uni-ui有些组件的样式不好看，所以要做一些调整，做个记录。用分段器举例~ 官网原生样式 调整后的 首先找到我们的static文件夹，里面一般存着项目的全局样式文件，没有的话自己创一个 uniui.scss /deep/ .segmented-con…...

编程日记 2024/12/31 20:13:35

【linux板卡】lubancat通过vnc远程访问桌面

鲁班猫开发板通过远程VNC连接桌面： 硬件：lubancat2，网线 软件：ssh软件，vnc viewer 参考链接：https://training.eeworld.com.cn/video/38821 1、ssh连接lubancat2 ，输入ifconfig查看ip 2、输入 …...

编程日记 2024/12/31 20:09:32

SQLiteDataBase数据库

XML界面设计 <?xml version"1.0" encoding"utf-8"?> <LinearLayout xmlns:android"http://schemas.android.com/apk/res/android"xmlns:tools"http://schemas.android.com/tools"android:layout_width"match_paren…...

编程日记 2024/12/31 20:03:25

STM32 高级 物联网通讯之蓝牙通讯

目录 蓝牙基础知识 蓝牙概述 蓝牙产生背景 蓝牙发展历程 蓝牙技术类型 经典蓝牙（BR/EDR和AMP） 低功耗蓝牙（BLE） 市场上常见蓝牙架构 SOC蓝牙单芯片方案 SOC蓝牙+MCU方案 蓝牙host+controller分开方案 蓝牙协议栈 蓝牙芯片架构 BLE低功耗蓝牙协议栈框架 物理…...

编程日记 2024/12/31 20:00:22

react中实现拖拽排序

效果图&#xff1a;如下 效果说明&#xff1a; 1. 点击“选择”按钮&#xff0c;打开弹窗 2. 左侧数据是调接口回显来的 3. 点击左侧某条数据&#xff0c;这条被点击的数据就会被添加到右侧 4. 右侧的数据可以上下拖动换位置 5. 右侧有数据时&#xff0c;点击"确定"…...

编程日记 2024/12/31 19:59:20

【华为OD-E卷-AI处理器组合100分（python、java、c++、js、c）】

【华为OD-E卷-AI处理器组合100分&#xff08;python、java、c、js、c&#xff09;】 题目 某公司研发了一款高性能AI处理器。每台物理设备具备8颗AI处理器&#xff0c;编号分别为0、1、2、3、4、5、6、7。 编号0-3的处理器处于同一个链路中&#xff0c;编号4-7的处理器处于另…...

编程日记 2024/12/31 19:57:16

语音识别基础算法——动态时间规整算法

前言 动态时间规整算法&#xff0c;Dynamic Time Wraping&#xff0c;缩写为DTW&#xff0c;是语音识别领域的一个基础算法。 算法的提出 DTW 的提出是为了解决或尽量解决在语音识别当中的孤立词识别不正确的问题。该问题简单描述为&#xff1a;在识别阶段&#xff0c;将输入…...

编程日记 2024/12/31 19:47:04

模型工作流：自动化的模型内部三角面剔除

1. 关于自动减面 1.1 自动减面的重要性及现状 三维模型是游戏、三维家居设计、数字孪生、VR/AR等几乎所有三维软件的核心资产&#xff0c;模型的质量和性能从根本上决定了三维软件的画面效果和渲染性能。其中&#xff0c;模型减面工作是同时关乎质量和性能这两个要素的重要工…...

编程日记 2024/12/31 19:46:02

解读一个新建的 Spring Boot 项目

解读一个新建的 Spring Boot 项目。 1. 创建 Spring Boot 2.5.6 项目 步骤 1: 使用 Spring Initializr 创建项目 可以使用 Spring Initializr&#xff08;https://start.spring.io/&#xff09;来快速生成一个 Spring Boot 项目。 在 Spring Initializr 中选择以下配置&…...

编程日记 2024/12/31 19:42:58

全球首个30米分辨率湿地数据集(2000—2022)

数据简介 今天我们分享的数据是全球30米分辨率湿地数据集&#xff0c;包含8种湿地亚类&#xff0c;该数据以0.5X0.5的瓦片存储&#xff0c;我们整理了所有属于中国的瓦片名称与其对应省份&#xff0c;方便大家研究使用。 该数据集作为全球首个30米分辨率、覆盖2000–2022年时间…...

编程新知 2026/1/7 16:42:07

Cloudflare 从 Nginx 到 Pingora：性能、效率与安全的全面升级

在互联网的快速发展中&#xff0c;高性能、高效率和高安全性的网络服务成为了各大互联网基础设施提供商的核心追求。Cloudflare 作为全球领先的互联网安全和基础设施公司&#xff0c;近期做出了一个重大技术决策&#xff1a;弃用长期使用的 Nginx&#xff0c;转而采用其内部开发…...

编程新知 2026/1/11 17:16:41

什么是Ansible Jinja2

理解 Ansible Jinja2 模板 Ansible 是一款功能强大的开源自动化工具&#xff0c;可让您无缝地管理和配置系统。Ansible 的一大亮点是它使用 Jinja2 模板&#xff0c;允许您根据变量数据动态生成文件、配置设置和脚本。本文将向您介绍 Ansible 中的 Jinja2 模板&#xff0c;并通…...

编程新知 2026/1/11 10:19:34

让回归模型不再被异常值“带跑偏“，MSE和Cauchy损失函数在噪声数据环境下的实战对比

在机器学习的回归分析中&#xff0c;损失函数的选择对模型性能具有决定性影响。均方误差&#xff08;MSE&#xff09;作为经典的损失函数&#xff0c;在处理干净数据时表现优异&#xff0c;但在面对包含异常值的噪声数据时&#xff0c;其对大误差的二次惩罚机制往往导致模型参数…...

编程新知 2026/1/10 8:49:34

作为测试我们应该关注redis哪些方面

1、功能测试 数据结构操作&#xff1a;验证字符串、列表、哈希、集合和有序的基本操作是否正确 持久化&#xff1a;测试aof和aof持久化机制&#xff0c;确保数据在开启后正确恢复。 事务&#xff1a;检查事务的原子性和回滚机制。 发布订阅&#xff1a;确保消息正确传递。 2、性…...

编程新知 2025/11/1 2:00:51

Python网页自动化Selenium中文文档

1. 安装 1.1. 安装 Selenium Python bindings 提供了一个简单的API&#xff0c;让你使用Selenium WebDriver来编写功能/校验测试。 通过Selenium Python的API&#xff0c;你可以非常直观的使用Selenium WebDriver的所有功能。 Selenium Python bindings 使用非常简洁方便的A…...

编程新知 2025/11/5 19:41:28

C++_哈希表

本篇文章是对C学习的哈希表部分的学习分享 相信一定会对你有所帮助~ 那咱们废话不多说&#xff0c;直接开始吧&#xff01; 一、基础概念 1. 哈希核心思想&#xff1a; 哈希函数的作用&#xff1a;通过此函数建立一个Key与存储位置之间的映射关系。理想目标&#xff1a;实现…...

编程新知 2026/1/5 11:52:28

Electron简介（附电子书学习资料）

一、什么是Electron&#xff1f; Electron 是一个由 GitHub 开发的 开源框架&#xff0c;允许开发者使用 Web技术&#xff08;HTML、CSS、JavaScript&#xff09; 构建跨平台的桌面应用程序&#xff08;Windows、macOS、Linux&#xff09;。它将 Chromium浏览器内核 和 Node.j…...

编程新知 2025/9/28 1:39:34

【动态规划】B4336 [中山市赛 2023] 永别|普及+

B4336 [中山市赛 2023] 永别 题目描述 你做了一个梦&#xff0c;梦里有一个字符串&#xff0c;这个字符串无论正着读还是倒着读都是一样的&#xff0c;例如&#xff1a; a b c b a \tt abcba abcba 就符合这个条件。 但是你醒来时不记得梦中的字符串是什么&#xff0c;只记得…...

编程新知 2026/1/7 6:07:31

MySQL 数据库深度剖析：事务、SQL 优化、索引与 Buffer Pool

在当今数据驱动的时代&#xff0c;数据库作为数据存储与管理的核心&#xff0c;其性能与可靠性至关重要。MySQL 作为一款广泛使用的开源数据库&#xff0c;在众多应用场景中发挥着关键作用。在这篇博客中&#xff0c;我将围绕 MySQL 数据库的核心知识展开&#xff0c;涵盖事务及…...

编程新知 2026/1/12 3:55:19