当前位置： 首页 > news >正文

大语言模型（LLM）一般训练过程

news 2025/9/18 3:24:02

大语言模型（LLM）一般训练过程

数据收集与预处理

  • 收集：从多种来源收集海量文本数据，如互联网的新闻文章、博客、论坛，以及书籍、学术论文、社交媒体等，以涵盖丰富的语言表达和知识领域。例如，训练一个通用型的LLM时，可能会收集数十亿甚至上百亿字的文本数据.
  • 清洗：去除数据中的噪声和无关信息，如HTML标签、特殊字符、错误数据、重复项等，还会删除个人敏感信息 。比如，将文本中的“ ”等HTML实体编码替换为对应的空格，删除包含大量乱码或明显错误的文本段落.
  • 分词与标记化：将文本分割成词语或子词的序列，并为每个词语或子词分配一个唯一的标识符。例如，使用空格、标点符号或特定规则将句子“我正在学习自然语言处理”分词为“我”“正在”“学习”“自然语言处理”等 tokens.
  • 构建样本：根据任务需求，将数据组织成训练样本。比如对于语言模型预测下一个词的任务，可以从文本中滑动窗口提取连续的序列作为输入样本，目标是预测下一个词语。假设窗口大小为5，输入样本可以是“我正在学习自然语言”，目标词语则是“处理”.

相关文章：

大语言模型（LLM）一般训练过程

大语言模型（LLM）一般训练过程 数据收集与预处理 收集：从多种来源收集海量文本数据，如互联网的新闻文章、博客、论坛，以及书籍、学术论文、社交媒体等，以涵盖丰富的语言表达和知识领域。例如，训练一个通用型的LLM时，可能会收集数十亿甚至上百亿字的文本数据.清洗：去除…...

编程日记 2024/12/31 20:45:12

单片机的基本组成

单片机，即单芯片微型计算机（Single-Chip Microcomputer），是一种将中央处理器(CPU)、内存、输入输出接口等功能集成在一块集成电路芯片上的微型计算机。它具有体积小、成本低、可靠性高、功耗低等优点，在现代电子产品中…...

编程日记 2024/12/31 20:41:08

GO性能优化的一些记录：trace工具的使用

使用场景： 1 想要查看接口延时性偏高 2 深入了解协程具体如何运营的详细信息（运行时长，或者什么原因导致了协程运行受阻） 可以使用 trace 功能，程序便会对下面的一系列事件进行详细记录，并且会依据所搜集到…...

编程日记 2024/12/31 20:38:03

dede-cms关于shell漏洞

一.文件式管理器 1.新建文件 新建一个php文件，内容写个php脚本语言 访问，可以运行 2.文件上传 上传一个php文件，内容同样写一个php代码 访问，运行成功 二.模块-广告管理 来到模块-广告管理——>增加一个新广告 在这里试一下…...

编程日记 2024/12/31 20:35:00

NAT 技术如何解决 IP 地址短缺问题？

NAT 技术如何解决 IP 地址短缺问题？ 前言 这是我在这个网站整理的笔记,有错误的地方请指出，关注我，接下来还会持续更新。 作者：神的孩子都在歌唱 随着互联网的普及和发展，IP 地址的需求量迅速增加。尤其是 IPv4 地址&…...

编程日记 2024/12/31 20:33:59

使用 IDE生成 Java Doc

使用步骤 Android Studio界面->Tools->Generate JavaDoc zh-CN -encoding UTF-8 -charset UTF-8 -classpath “C:\Users\fangjian\AppData\Local\Android\Sdk\platforms\android-34\android.jar” 报错问题 错误: 目标 17 不允许选项 --boot-class-path 如果你正在使用…...

编程日记 2024/12/31 20:32:58

通过无障碍服务(AccessibilityService)实现Android设备全局水印显示

一、无障碍功能简介 首先我们先来了解下无障碍功能的官方介绍： 无障碍服务仅应用于帮助残障用户使用 Android 设备和应用。它们在后台运行，并在触发 AccessibilityEvents 时接收系统的回调。此类事件表示用户界面中的某些状态转换，例如焦点已…...

编程日记 2024/12/31 20:27:53

flask后端开发（2）：URL与视图

目录 URL定义request获取请求参数 gitcode地址： https://gitcode.com/qq_43920838/flask_project.git URL定义 from flask import FlaskappFlask(__name__)app.route(/) def hello_world():return Hello World!app.route(/profile) def profile():return 我是个人…...

编程日记 2024/12/31 20:23:49

力扣-数据结构-7【算法学习day.78】

前言 ###我做这类文章一个重要的目的还是给正在学习的大家提供方向（例如想要掌握基础用法，该刷哪些题？建议灵神的题单和代码随想录）和记录自己的学习过程，我的解析也不会做的非常详细，只会提供思路和一些关…...

编程日记 2024/12/31 20:20:47

【潜意识Java】Java中深入解析抽象类与接口的差异的完整笔记总结【保姆级详细教程】

目录 一、抽象类和接口的基本概念 （一）抽象类是什么 （二）接口是什么 二、抽象类和接口的设计目的差异 （一）抽象类的设计初衷 （二）接口的设计意图 三、抽象类和接口的语法特性…...

编程日记 2024/12/31 20:19:45

【Flink运行时架构】系统构架

SMP架构 数据处理系统的架构最简单的实现方式就是单节点，但是随着数据量的增大，为了使单节点的机器性能更加强大，需要增加CPU数量和加大内存来提高吞吐量。这就是所谓的SMP(Symmetrical Multi Processing,对称多处理)架构。 但是这种架构带来…...

编程日记 2024/12/31 20:18:43

uni-ui样式修改

因为之前官网uni-ui有些组件的样式不好看，所以要做一些调整，做个记录。用分段器举例~ 官网原生样式 调整后的 首先找到我们的static文件夹，里面一般存着项目的全局样式文件，没有的话自己创一个 uniui.scss /deep/ .segmented-con…...

编程日记 2024/12/31 20:13:35

【linux板卡】lubancat通过vnc远程访问桌面

鲁班猫开发板通过远程VNC连接桌面： 硬件：lubancat2，网线 软件：ssh软件，vnc viewer 参考链接：https://training.eeworld.com.cn/video/38821 1、ssh连接lubancat2 ，输入ifconfig查看ip 2、输入 …...

编程日记 2024/12/31 20:09:32

SQLiteDataBase数据库

XML界面设计 <?xml version"1.0" encoding"utf-8"?> <LinearLayout xmlns:android"http://schemas.android.com/apk/res/android"xmlns:tools"http://schemas.android.com/tools"android:layout_width"match_paren…...

编程日记 2024/12/31 20:03:25

STM32 高级 物联网通讯之蓝牙通讯

目录 蓝牙基础知识 蓝牙概述 蓝牙产生背景 蓝牙发展历程 蓝牙技术类型 经典蓝牙（BR/EDR和AMP） 低功耗蓝牙（BLE） 市场上常见蓝牙架构 SOC蓝牙单芯片方案 SOC蓝牙+MCU方案 蓝牙host+controller分开方案 蓝牙协议栈 蓝牙芯片架构 BLE低功耗蓝牙协议栈框架 物理…...

编程日记 2024/12/31 20:00:22

react中实现拖拽排序

效果图&#xff1a;如下 效果说明&#xff1a; 1. 点击“选择”按钮&#xff0c;打开弹窗 2. 左侧数据是调接口回显来的 3. 点击左侧某条数据&#xff0c;这条被点击的数据就会被添加到右侧 4. 右侧的数据可以上下拖动换位置 5. 右侧有数据时&#xff0c;点击"确定"…...

编程日记 2024/12/31 19:59:20

【华为OD-E卷-AI处理器组合100分（python、java、c++、js、c）】

【华为OD-E卷-AI处理器组合100分&#xff08;python、java、c、js、c&#xff09;】 题目 某公司研发了一款高性能AI处理器。每台物理设备具备8颗AI处理器&#xff0c;编号分别为0、1、2、3、4、5、6、7。 编号0-3的处理器处于同一个链路中&#xff0c;编号4-7的处理器处于另…...

编程日记 2024/12/31 19:57:16

语音识别基础算法——动态时间规整算法

前言 动态时间规整算法&#xff0c;Dynamic Time Wraping&#xff0c;缩写为DTW&#xff0c;是语音识别领域的一个基础算法。 算法的提出 DTW 的提出是为了解决或尽量解决在语音识别当中的孤立词识别不正确的问题。该问题简单描述为&#xff1a;在识别阶段&#xff0c;将输入…...

编程日记 2024/12/31 19:47:04

模型工作流：自动化的模型内部三角面剔除

1. 关于自动减面 1.1 自动减面的重要性及现状 三维模型是游戏、三维家居设计、数字孪生、VR/AR等几乎所有三维软件的核心资产&#xff0c;模型的质量和性能从根本上决定了三维软件的画面效果和渲染性能。其中&#xff0c;模型减面工作是同时关乎质量和性能这两个要素的重要工…...

编程日记 2024/12/31 19:46:02

解读一个新建的 Spring Boot 项目

解读一个新建的 Spring Boot 项目。 1. 创建 Spring Boot 2.5.6 项目 步骤 1: 使用 Spring Initializr 创建项目 可以使用 Spring Initializr&#xff08;https://start.spring.io/&#xff09;来快速生成一个 Spring Boot 项目。 在 Spring Initializr 中选择以下配置&…...

编程日记 2024/12/31 19:42:58

KubeSphere 容器平台高可用：环境搭建与可视化操作指南

Linux_k8s篇 欢迎来到Linux的世界&#xff0c;看笔记好好学多敲多打&#xff0c;每个人都是大神&#xff01; 题目&#xff1a;KubeSphere 容器平台高可用&#xff1a;环境搭建与可视化操作指南 版本号: 1.0,0 作者: 老王要学习 日期: 2025.06.05 适用环境: Ubuntu22 文档说…...

编程新知 2025/9/17 17:03:16

Python｜GIF 解析与构建（5）：手搓截屏和帧率控制

目录 Python&#xff5c;GIF 解析与构建&#xff08;5&#xff09;&#xff1a;手搓截屏和帧率控制 一、引言 二、技术实现&#xff1a;手搓截屏模块 2.1 核心原理 2.2 代码解析&#xff1a;ScreenshotData类 2.2.1 截图函数&#xff1a;capture_screen 三、技术实现&…...

编程新知 2025/6/27 2:57:24

在鸿蒙HarmonyOS 5中实现抖音风格的点赞功能

下面我将详细介绍如何使用HarmonyOS SDK在HarmonyOS 5中实现类似抖音的点赞功能&#xff0c;包括动画效果、数据同步和交互优化。 1. 基础点赞功能实现 1.1 创建数据模型 // VideoModel.ets export class VideoModel {id: string "";title: string ""…...

编程新知 2025/8/14 5:51:59

iPhone密码忘记了办？iPhoneUnlocker，iPhone解锁工具Aiseesoft iPhone Unlocker 高级注册版​分享

平时用 iPhone 的时候&#xff0c;难免会碰到解锁的麻烦事。比如密码忘了、人脸识别 / 指纹识别突然不灵&#xff0c;或者买了二手 iPhone 却被原来的 iCloud 账号锁住&#xff0c;这时候就需要靠谱的解锁工具来帮忙了。Aiseesoft iPhone Unlocker 就是专门解决这些问题的软件&…...

编程新知 2025/9/9 14:47:30

学校招生小程序源码介绍

基于ThinkPHPFastAdminUniApp开发的学校招生小程序源码&#xff0c;专为学校招生场景量身打造&#xff0c;功能实用且操作便捷。 从技术架构来看&#xff0c;ThinkPHP提供稳定可靠的后台服务&#xff0c;FastAdmin加速开发流程&#xff0c;UniApp则保障小程序在多端有良好的兼…...

编程新知 2025/9/14 12:35:09

【C++从零实现Json-Rpc框架】第六弹 —— 服务端模块划分

一、项目背景回顾 前五弹完成了Json-Rpc协议解析、请求处理、客户端调用等基础模块搭建。 本弹重点聚焦于服务端的模块划分与架构设计&#xff0c;提升代码结构的可维护性与扩展性。 二、服务端模块设计目标 高内聚低耦合&#xff1a;各模块职责清晰&#xff0c;便于独立开发…...

编程新知 2025/9/13 8:23:57

逻辑回归暴力训练预测金融欺诈

简述 「使用逻辑回归暴力预测金融欺诈&#xff0c;并不断增加特征维度持续测试」的做法&#xff0c;体现了一种逐步建模与迭代验证的实验思路&#xff0c;在金融欺诈检测中非常有价值&#xff0c;本文作为一篇回顾性记录了早年间公司给某行做反欺诈预测用到的技术和思路。百度…...

编程新知 2025/9/2 1:07:37

MySQL 索引底层结构揭秘：B-Tree 与 B+Tree 的区别与应用

文章目录 一、背景知识&#xff1a;什么是 B-Tree 和 BTree&#xff1f; B-Tree&#xff08;平衡多路查找树&#xff09; BTree&#xff08;B-Tree 的变种&#xff09; 二、结构对比&#xff1a;一张图看懂 三、为什么 MySQL InnoDB 选择 BTree&#xff1f; 1. 范围查询更快 2…...

编程新知 2025/9/18 0:24:45

基于江科大stm32屏幕驱动，实现OLED多级菜单（动画效果），结构体链表实现(独创源码)

引言 在嵌入式系统中&#xff0c;用户界面的设计往往直接影响到用户体验。本文将以STM32微控制器和OLED显示屏为例&#xff0c;介绍如何实现一个多级菜单系统。该系统支持用户通过按键导航菜单&#xff0c;执行相应操作&#xff0c;并提供平滑的滚动动画效果。 本文设计了一个…...

编程新知 2025/9/16 16:58:53

链式法则中 复合函数的推导路径 多变量“信息传递路径”

非常好&#xff0c;我们将之前关于偏导数链式法则中不能“约掉”偏导符号的问题&#xff0c;统一使用 二重复合函数&#xff1a; z f ( u ( x , y ) , v ( x , y ) ) \boxed{z f(u(x,y),\ v(x,y))} zf(u(x,y), v(x,y))​ 来全面说明。我们会展示其全微分形式&#xff08;偏导…...

编程新知 2025/9/13 17:33:24