当前位置： 首页 > news >正文

大语言模型（LLM）一般训练过程

news 2025/7/14 22:53:12

大语言模型（LLM）一般训练过程

数据收集与预处理

  • 收集：从多种来源收集海量文本数据，如互联网的新闻文章、博客、论坛，以及书籍、学术论文、社交媒体等，以涵盖丰富的语言表达和知识领域。例如，训练一个通用型的LLM时，可能会收集数十亿甚至上百亿字的文本数据.
  • 清洗：去除数据中的噪声和无关信息，如HTML标签、特殊字符、错误数据、重复项等，还会删除个人敏感信息 。比如，将文本中的“ ”等HTML实体编码替换为对应的空格，删除包含大量乱码或明显错误的文本段落.
  • 分词与标记化：将文本分割成词语或子词的序列，并为每个词语或子词分配一个唯一的标识符。例如，使用空格、标点符号或特定规则将句子“我正在学习自然语言处理”分词为“我”“正在”“学习”“自然语言处理”等 tokens.
  • 构建样本：根据任务需求，将数据组织成训练样本。比如对于语言模型预测下一个词的任务，可以从文本中滑动窗口提取连续的序列作为输入样本，目标是预测下一个词语。假设窗口大小为5，输入样本可以是“我正在学习自然语言”，目标词语则是“处理”.

相关文章：

大语言模型（LLM）一般训练过程

大语言模型（LLM）一般训练过程 数据收集与预处理 收集：从多种来源收集海量文本数据，如互联网的新闻文章、博客、论坛，以及书籍、学术论文、社交媒体等，以涵盖丰富的语言表达和知识领域。例如，训练一个通用型的LLM时，可能会收集数十亿甚至上百亿字的文本数据.清洗：去除…...

编程日记 2024/12/31 20:45:12

单片机的基本组成

单片机，即单芯片微型计算机（Single-Chip Microcomputer），是一种将中央处理器(CPU)、内存、输入输出接口等功能集成在一块集成电路芯片上的微型计算机。它具有体积小、成本低、可靠性高、功耗低等优点，在现代电子产品中…...

编程日记 2024/12/31 20:41:08

GO性能优化的一些记录：trace工具的使用

使用场景： 1 想要查看接口延时性偏高 2 深入了解协程具体如何运营的详细信息（运行时长，或者什么原因导致了协程运行受阻） 可以使用 trace 功能，程序便会对下面的一系列事件进行详细记录，并且会依据所搜集到…...

编程日记 2024/12/31 20:38:03

dede-cms关于shell漏洞

一.文件式管理器 1.新建文件 新建一个php文件，内容写个php脚本语言 访问，可以运行 2.文件上传 上传一个php文件，内容同样写一个php代码 访问，运行成功 二.模块-广告管理 来到模块-广告管理——>增加一个新广告 在这里试一下…...

编程日记 2024/12/31 20:35:00

NAT 技术如何解决 IP 地址短缺问题？

NAT 技术如何解决 IP 地址短缺问题？ 前言 这是我在这个网站整理的笔记,有错误的地方请指出，关注我，接下来还会持续更新。 作者：神的孩子都在歌唱 随着互联网的普及和发展，IP 地址的需求量迅速增加。尤其是 IPv4 地址&…...

编程日记 2024/12/31 20:33:59

使用 IDE生成 Java Doc

使用步骤 Android Studio界面->Tools->Generate JavaDoc zh-CN -encoding UTF-8 -charset UTF-8 -classpath “C:\Users\fangjian\AppData\Local\Android\Sdk\platforms\android-34\android.jar” 报错问题 错误: 目标 17 不允许选项 --boot-class-path 如果你正在使用…...

编程日记 2024/12/31 20:32:58

通过无障碍服务(AccessibilityService)实现Android设备全局水印显示

一、无障碍功能简介 首先我们先来了解下无障碍功能的官方介绍： 无障碍服务仅应用于帮助残障用户使用 Android 设备和应用。它们在后台运行，并在触发 AccessibilityEvents 时接收系统的回调。此类事件表示用户界面中的某些状态转换，例如焦点已…...

编程日记 2024/12/31 20:27:53

flask后端开发（2）：URL与视图

目录 URL定义request获取请求参数 gitcode地址： https://gitcode.com/qq_43920838/flask_project.git URL定义 from flask import FlaskappFlask(__name__)app.route(/) def hello_world():return Hello World!app.route(/profile) def profile():return 我是个人…...

编程日记 2024/12/31 20:23:49

力扣-数据结构-7【算法学习day.78】

前言 ###我做这类文章一个重要的目的还是给正在学习的大家提供方向（例如想要掌握基础用法，该刷哪些题？建议灵神的题单和代码随想录）和记录自己的学习过程，我的解析也不会做的非常详细，只会提供思路和一些关…...

编程日记 2024/12/31 20:20:47

【潜意识Java】Java中深入解析抽象类与接口的差异的完整笔记总结【保姆级详细教程】

目录 一、抽象类和接口的基本概念 （一）抽象类是什么 （二）接口是什么 二、抽象类和接口的设计目的差异 （一）抽象类的设计初衷 （二）接口的设计意图 三、抽象类和接口的语法特性…...

编程日记 2024/12/31 20:19:45

【Flink运行时架构】系统构架

SMP架构 数据处理系统的架构最简单的实现方式就是单节点，但是随着数据量的增大，为了使单节点的机器性能更加强大，需要增加CPU数量和加大内存来提高吞吐量。这就是所谓的SMP(Symmetrical Multi Processing,对称多处理)架构。 但是这种架构带来…...

编程日记 2024/12/31 20:18:43

uni-ui样式修改

因为之前官网uni-ui有些组件的样式不好看，所以要做一些调整，做个记录。用分段器举例~ 官网原生样式 调整后的 首先找到我们的static文件夹，里面一般存着项目的全局样式文件，没有的话自己创一个 uniui.scss /deep/ .segmented-con…...

编程日记 2024/12/31 20:13:35

【linux板卡】lubancat通过vnc远程访问桌面

鲁班猫开发板通过远程VNC连接桌面： 硬件：lubancat2，网线 软件：ssh软件，vnc viewer 参考链接：https://training.eeworld.com.cn/video/38821 1、ssh连接lubancat2 ，输入ifconfig查看ip 2、输入 …...

编程日记 2024/12/31 20:09:32

SQLiteDataBase数据库

XML界面设计 <?xml version"1.0" encoding"utf-8"?> <LinearLayout xmlns:android"http://schemas.android.com/apk/res/android"xmlns:tools"http://schemas.android.com/tools"android:layout_width"match_paren…...

编程日记 2024/12/31 20:03:25

STM32 高级 物联网通讯之蓝牙通讯

目录 蓝牙基础知识 蓝牙概述 蓝牙产生背景 蓝牙发展历程 蓝牙技术类型 经典蓝牙（BR/EDR和AMP） 低功耗蓝牙（BLE） 市场上常见蓝牙架构 SOC蓝牙单芯片方案 SOC蓝牙+MCU方案 蓝牙host+controller分开方案 蓝牙协议栈 蓝牙芯片架构 BLE低功耗蓝牙协议栈框架 物理…...

编程日记 2024/12/31 20:00:22

react中实现拖拽排序

效果图&#xff1a;如下 效果说明&#xff1a; 1. 点击“选择”按钮&#xff0c;打开弹窗 2. 左侧数据是调接口回显来的 3. 点击左侧某条数据&#xff0c;这条被点击的数据就会被添加到右侧 4. 右侧的数据可以上下拖动换位置 5. 右侧有数据时&#xff0c;点击"确定"…...

编程日记 2024/12/31 19:59:20

【华为OD-E卷-AI处理器组合100分（python、java、c++、js、c）】

【华为OD-E卷-AI处理器组合100分&#xff08;python、java、c、js、c&#xff09;】 题目 某公司研发了一款高性能AI处理器。每台物理设备具备8颗AI处理器&#xff0c;编号分别为0、1、2、3、4、5、6、7。 编号0-3的处理器处于同一个链路中&#xff0c;编号4-7的处理器处于另…...

编程日记 2024/12/31 19:57:16

语音识别基础算法——动态时间规整算法

前言 动态时间规整算法&#xff0c;Dynamic Time Wraping&#xff0c;缩写为DTW&#xff0c;是语音识别领域的一个基础算法。 算法的提出 DTW 的提出是为了解决或尽量解决在语音识别当中的孤立词识别不正确的问题。该问题简单描述为&#xff1a;在识别阶段&#xff0c;将输入…...

编程日记 2024/12/31 19:47:04

模型工作流：自动化的模型内部三角面剔除

1. 关于自动减面 1.1 自动减面的重要性及现状 三维模型是游戏、三维家居设计、数字孪生、VR/AR等几乎所有三维软件的核心资产&#xff0c;模型的质量和性能从根本上决定了三维软件的画面效果和渲染性能。其中&#xff0c;模型减面工作是同时关乎质量和性能这两个要素的重要工…...

编程日记 2024/12/31 19:46:02

解读一个新建的 Spring Boot 项目

解读一个新建的 Spring Boot 项目。 1. 创建 Spring Boot 2.5.6 项目 步骤 1: 使用 Spring Initializr 创建项目 可以使用 Spring Initializr&#xff08;https://start.spring.io/&#xff09;来快速生成一个 Spring Boot 项目。 在 Spring Initializr 中选择以下配置&…...

编程日记 2024/12/31 19:42:58

【Axure高保真原型】引导弹窗

今天和大家中分享引导弹窗的原型模板&#xff0c;载入页面后&#xff0c;会显示引导弹窗&#xff0c;适用于引导用户使用页面&#xff0c;点击完成后&#xff0c;会显示下一个引导弹窗&#xff0c;直至最后一个引导弹窗完成后进入首页。具体效果可以点击下方视频观看或打开下方…...

编程新知 2025/7/13 9:04:17

【Linux】C语言执行shell指令

在C语言中执行Shell指令 在C语言中&#xff0c;有几种方法可以执行Shell指令&#xff1a; 1. 使用system()函数 这是最简单的方法&#xff0c;包含在stdlib.h头文件中&#xff1a; #include <stdlib.h>int main() {system("ls -l"); // 执行ls -l命令retu…...

编程新知 2025/6/21 17:11:09

linux 错误码总结

1，错误码的概念与作用 在Linux系统中，错误码是系统调用或库函数在执行失败时返回的特定数值，用于指示具体的错误类型。这些错误码通过全局变量errno来存储和传递，errno由操作系统维护，保存最近一次发生的错误信息。值得注意的是，errno的值在每次系统调用或函数调用失败时…...

编程新知 2025/7/8 20:42:45

DBAPI如何优雅的获取单条数据

API如何优雅的获取单条数据 案例一 对于查询类API&#xff0c;查询的是单条数据&#xff0c;比如根据主键ID查询用户信息&#xff0c;sql如下&#xff1a; select id, name, age from user where id #{id}API默认返回的数据格式是多条的&#xff0c;如下&#xff1a; {&qu…...

编程新知 2025/7/12 19:11:17

【Zephyr 系列 10】实战项目：打造一个蓝牙传感器终端 + 网关系统（完整架构与全栈实现）

🧠关键词：Zephyr、BLE、终端、网关、广播、连接、传感器、数据采集、低功耗、系统集成 📌目标读者：希望基于 Zephyr 构建 BLE 系统架构、实现终端与网关协作、具备产品交付能力的开发者 📊篇幅字数：约 5200 字 ✨ 项目总览 在物联网实际项目中，**“终端 + 网关”**是…...

编程新知 2025/7/14 15:35:02

大学生职业发展与就业创业指导教学评价

这里是引用 作为软工2203/2204班的学生&#xff0c;我们非常感谢您在《大学生职业发展与就业创业指导》课程中的悉心教导。这门课程对我们即将面临实习和就业的工科学生来说至关重要&#xff0c;而您认真负责的教学态度&#xff0c;让课程的每一部分都充满了实用价值。 尤其让我…...

编程新知 2025/7/10 13:02:07

Web 架构之 CDN 加速原理与落地实践

文章目录 一、思维导图二、正文内容&#xff08;一&#xff09;CDN 基础概念1. 定义2. 组成部分 &#xff08;二&#xff09;CDN 加速原理1. 请求路由2. 内容缓存3. 内容更新 &#xff08;三&#xff09;CDN 落地实践1. 选择 CDN 服务商2. 配置 CDN3. 集成到 Web 架构 &#xf…...

编程新知 2025/7/7 17:43:40

Selenium常用函数介绍

目录 一&#xff0c;元素定位 1.1 cssSeector 1.2 xpath 二&#xff0c;操作测试对象 三&#xff0c;窗口 3.1 案例 3.2 窗口切换 3.3 窗口大小 3.4 屏幕截图 3.5 关闭窗口 四&#xff0c;弹窗 五&#xff0c;等待 六&#xff0c;导航 七&#xff0c;文件上传 …...

编程新知 2025/7/12 22:20:18

LabVIEW双光子成像系统技术

双光子成像技术的核心特性 双光子成像通过双低能量光子协同激发机制&#xff0c;展现出显著的技术优势&#xff1a; 深层组织穿透能力&#xff1a;适用于活体组织深度成像 高分辨率观测性能&#xff1a;满足微观结构的精细研究需求 低光毒性特点&#xff1a;减少对样本的损伤…...

编程新知 2025/7/14 9:01:19

PHP 8.5 即将发布：管道操作符、强力调试

前不久&#xff0c;PHP宣布了即将在 2025 年 11 月 20 日 正式发布的 PHP 8.5&#xff01;作为 PHP 语言的又一次重要迭代&#xff0c;PHP 8.5 承诺带来一系列旨在提升代码可读性、健壮性以及开发者效率的改进。而更令人兴奋的是&#xff0c;借助强大的本地开发环境 ServBay&am…...

编程新知 2025/7/14 20:57:36