当前位置： 首页 > news >正文

LLM 架构

news 2026/4/30 23:26:18

LLM 分类 :

  • 自编码模型 (encoder) : 代表模型 : BERT
  • 自回归模型 (decoder) : 代表模型 : GPT
  • 序列到序列模型 (encoder-decoder) : 代表模型 : T5

自编码模型 (AutoEncoder model , AE)

  • 代表模型 : BERT (Bidirectional Encoder Representation from Transformers)
  • 特点 : Encoder-Only
  • 基本原理 : 在输入中随机 MASK 掉一部分单词，根据上下文预测这个词
  • 应用场景 : 内容理解任务，如 : 自然语言理解 (NLU )中的分类任务 (情感分析、提取式问答等 )

自回归模型 (Autoregressive model , AR)

  • 代表模型 : GPT
  • 特点 : Decoder-Only
  • 基本原理 : 从左往右学习的模型，只能利用上文或 下文的信息
  • 应用场景 : 生成式任务，如 : 自然语言生成 (NLG )领域的任务 (摘要、翻译、抽象问答等 )

序列到序列模型 (Sequence to Sequence Model)

  • 代表模型 : T5
  • 特点 : 同时使用编码器和解码器
  • 基本原理 : 将每个 task 视作序列到序列的转换/ 生成
  • 应用场景 : 需要内容理解和生成的任务，如 : 机器翻译

发展图 :

相关文章：

LLM 架构

LLM 分类 : 自编码模型 (encoder) : 代表模型 : BERT自回归模型 (decoder) : 代表模型 : GPT序列到序列模型 (encoder-decoder) : 代表模型 : T5 自编码模型 (AutoEncoder model , AE) 代表模型 : BERT (Bidirectional Encoder Representation from Transformers)特点 : Enc…...

编程日记 2025/2/19 7:08:40

Word Embeddings

Count-based Approach Term-document matrix: Document vectors Two ways to extract information from the matrix: Column-wise: a document is represented by a |V|-dim vector (V: vocabulary) Widely used in information retrieval: find similar documents 查找類似…...

编程日记 2025/2/19 7:01:21

相机开发调中广角和焦距有什么不一样

在相机中，调整广角和调整焦距是两个不同的概念，它们的作用和实现方式也不同。以下是两者的详细对比和解释： 1. 调整广角 定义 广角是指相机的视野范围（Field of View, FOV）。调整广角实际上是调整相机的视野范围。更广的视野意味着可以捕捉到更多的场景内容（更宽的画面）…...

编程日记 2025/2/19 6:57:12

krpano学习笔记，端口修改，krpano二次开发文档，krpano三维div信息展示,krpano热点显示文字

一、修改krpano端口 .\tour_testingserver -port8085 &#xff0c;修改端口&#xff0c;指定启动时的端口 二、给krpano添加div展示信息 和场景一起转动&#xff0c;不是layer&#xff0c;layer是固定的&#xff0c;没啥用。 主要是onloaded里面的1个方法。 <action name…...

编程日记 2025/2/19 6:50:51

Jenkins 给任务分配 节点(Node)、设置工作空间目录

Jenkins 给任务分配 节点(Node)、设置工作空间目录 创建 Freestyle project 类型 任务 任务配置 Node 打开任务-> Configure-> General 勾选 Restrict where this project can be run Label Expression 填写一个 Node 的 Label&#xff0c;输入有效的 Label名字&#x…...

编程日记 2025/2/19 6:45:38

深入解析iOS视频录制（二）：自定义UI的实现

深入解析 iOS 视频录制&#xff08;一&#xff09;&#xff1a;录制管理核心MWRecordingController 类的设计与实现 深入解析iOS视频录制&#xff08;二&#xff09;&#xff1a;自定义UI的实现​​​​​​​ 深入解析 iOS 视频录制&#xff08;三&#xff09;&#xff1a;完…...

编程日记 2025/2/19 6:44:27

跳表的C语言实现

跳表&#xff08;Skip List&#xff09;是一种基于链表的动态数据结构&#xff0c;用于实现高效的查找、插入和删除操作。它通过引入多级索引来加速查找过程&#xff0c;类似于多级索引的有序链表。跳表的平均时间复杂度为 O(logn)&#xff0c;在某些场景下可以替代平衡树。 以…...

编程日记 2025/2/19 6:41:14

Java Web开发实战与项目——Spring Security与权限管理实现

Web应用中&#xff0c;权限管理是系统安全的核心部分&#xff0c;确保用户只能访问他们被授权的资源。Spring Security是Spring框架中的一个安全框架&#xff0c;它提供了强大的认证和授权功能&#xff0c;用于实现用户认证和权限控制。本章节将详细讲解如何使用Spring Securit…...

编程日记 2025/2/19 6:32:36

单元测试方法的使用

import java.util.Date; import org.junit.Test; /** java中的JUnit单元测试* * 步骤:* 1.选中当前项目工程 --》 右键:build path --》 add libraries --》 JUnit 4 --》 下一步* 2.创建一个Java类进行单元测试。* 此时的Java类要求:①此类是公共的 ②此类提供一个公共的无参…...

编程日记 2025/2/19 6:31:16

VScode内接入deepseek包过程（本地部署版包会）

目录 1. 首先得有vscode软件 2. 在我们的电脑本地已经部署了ollama&#xff0c;我将以qwen作为实验例子 3. 在vscode上的扩展商店下载continue 4. 下载完成后&#xff0c;依次点击添加模型 5. 在这里可以添加&#xff0c;各种各样的模型&#xff0c;选择我们的ollama 6. 选…...

编程日记 2025/2/19 6:30:05

flink写入hdfs数据如何保证幂等的？

在 Flink 中使用 HDFS Connector 将数据写入 HDFS 时&#xff0c;保证幂等性是一个重要的需求&#xff0c;尤其是在数据可靠性要求较高的场景下。以下是详细介绍如何通过 Flink 和 HDFS 的特性以及一些设计上的优化来实现幂等性。 一、Flink 的 Checkpoint 机制 Flink 的 Chec…...

编程日记 2025/2/19 6:27:45

newgrp docker需要每次刷新问题

每次都需要运行 newgrp docker 的原因: 当用户被添加到 docker 组后&#xff0c;当前会话并不会立即更新组信息&#xff0c;因此需要通过 newgrp docker 切换到新的用户组以使权限生效 如果不想每次都手动运行 newgrp docker&#xff0c;可以在终端中配置一个自动刷新的脚本。…...

编程日记 2025/2/19 6:26:29

LM_Funny-2-01 递推算法：从数学基础到跨学科应用

目录 第一章 递推算法的数学本质 1.1 形式化定义与公理化体系 定理1.1 (完备性条件) 1.2 高阶递推的特征分析 案例&#xff1a;Gauss同余递推4 第二章 工程实现优化技术 2.1 内存压缩的革新方法 滚动窗口策略 分块存储技术 2.2 异构计算加速方案 GPU并行递推 量子计…...

编程日记 2025/2/19 6:25:06

WDM_OTN_基础知识_波分站点与组网类型

为了便于理解&#xff0c;我们用高铁来打个比方&#xff0c;这是郑州与武汉的高铁&#xff0c;中间经过了许昌孝感等很多个站点&#xff0c;郑州武汉作为始发站和终点站&#xff0c;所有人员都是上车或下车&#xff0c;而许昌等中间站点&#xff0c;既有人员上下车&#xff0c;…...

编程日记 2025/2/19 6:23:50

机器视觉--索贝尔滤波

引言 在图像处理领域&#xff0c;边缘检测是一项至关重要的任务&#xff0c;它能够帮助我们识别图像中不同区域的边界&#xff0c;为后续的目标识别、图像分割等操作奠定基础。索贝尔滤波&#xff08;Sobel Filter&#xff09;作为一种经典的边缘检测算法&#xff0c;因其简单…...

编程日记 2025/2/19 6:20:34

网络分析仪E5071C的回波损耗测量

回波损耗&#xff08;Return Loss&#xff09;是评估射频/微波元件&#xff08;如滤波器、天线、电缆等&#xff09;信号反射特性的关键参数&#xff0c;反映端口阻抗匹配性能。E5071C矢量网络分析仪&#xff08;VNA&#xff09;通过以下步骤实现高精度回波损耗测量&#xff1a…...

编程日记 2025/2/19 6:18:15

力扣-二叉树-98 验证二叉搜索树

思路 第一个特性&#xff0c;二叉搜索树的中序遍历是有序的&#xff0c;第二个特性&#xff0c;利用两个指针判断大小关系 代码 class Solution { public:TreeNode* pre NULL;bool isValidBST(TreeNode* root) {if(root NULL) return true;bool left isValidBST(root->…...

编程日记 2025/2/19 6:15:51

【动态规划】详解 0-1背包问题

文章目录 1. 问题引入2. 从 dfs 到动态规划3. 动态规划过程分析4. 二维 dp 的遍历顺序5. 从二维数组到一维数组6. 一维数组的遍历次序7. 背包的遍历顺序8. 代码总结9. 总结 1. 问题引入 0-1 背包是比较经典的动态规划问题&#xff0c;这里以代码随想录里面的例子来介绍下。总的…...

编程日记 2025/2/19 6:14:40

【Java线程池与线程状态】线程池分类与最佳实践

解析Java线程池与线程状态变化&#xff0c;结合运行机制与业务场景对照&#xff0c;帮助形成系统性知识。 一、线程池核心要素&#xff08;五维模型&#xff09; 采用「参数配置→处理流程→工作模式」三层递进结构 核心参数&#xff08;线程池DNA&#xff09; corePoolSiz…...

编程日记 2025/2/19 6:13:34

【小白学AI系列】NLP 核心知识点（八）多头自注意力机制

文章目录 **多头自注意力机制&#xff08;Multi-Head Self-Attention&#xff09;****核心概念** **1. 自注意力机制&#xff08;Self-Attention&#xff09;****2. 多头机制&#xff08;Multi-Head Attention&#xff09;****3. 为什么要用多头注意力机制&#xff1f;****4. 公…...

编程日记 2025/2/19 6:12:18

BaiduPCS-Web终极指南：告别百度网盘下载限速的完整教程

BaiduPCS-Web终极指南&#xff1a;告别百度网盘下载限速的完整教程 【免费下载链接】baidupcs-web 项目地址: https://gitcode.com/gh_mirrors/ba/baidupcs-web 还在为百度网盘的下载速度而烦恼吗&#xff1f;每次下载大文件时&#xff0c;看着进度条缓慢移动&#xff…...

编程新知 2026/4/30 22:51:24

C盘空间不足？C盘爆满这样操作才干净 一招教你安全清理C盘

在日常使用电脑的过程中&#xff0c;相信很多人都遇到过这样的困扰&#xff1a;桌面弹出“C盘空间不足”的警告&#xff0c;电脑开机变慢、软件启动卡顿&#xff0c;甚至打开一个简单的文档都要加载半天&#xff0c;严重影响工作和娱乐效率。C盘作为Windows系统的默认安装盘&am…...

编程新知 2026/4/30 22:16:42

通过审计日志追溯团队成员的模型API调用记录与安全事件

通过审计日志追溯团队成员的模型API调用记录与安全事件 1. 企业API调用管理的核心需求 在企业环境中使用大模型API时&#xff0c;管理员通常面临三个关键挑战&#xff1a;权限管控颗粒度不足、异常调用难追溯、成本归属不透明。传统方案需要自行搭建日志系统或依赖厂商分散的…...

编程新知 2026/4/30 20:39:55

ReplaceItems.jsx：Adobe Illustrator设计师必备的批量对象替换神器，5分钟学会工作效率翻倍！

ReplaceItems.jsx&#xff1a;Adobe Illustrator设计师必备的批量对象替换神器&#xff0c;5分钟学会工作效率翻倍&#xff01; 【免费下载链接】illustrator-scripts Adobe Illustrator scripts 项目地址: https://gitcode.com/gh_mirrors/il/illustrator-scripts 还在…...

编程新知 2026/4/30 19:52:10

如何免费获得专业级物理渲染？Mitsuba-Blender插件终极指南

如何免费获得专业级物理渲染&#xff1f;Mitsuba-Blender插件终极指南 【免费下载链接】mitsuba-blender Mitsuba integration add-on for Blender 项目地址: https://gitcode.com/gh_mirrors/mi/mitsuba-blender 想要在Blender中体验电影级的物理渲染效果吗&#xff1f…...

编程新知 2026/4/30 19:14:43

Ubuntu 20.04/22.04 更换阿里云、清华源后，安装软件依然报错？可能是你漏了这关键一步

Ubuntu 20.04/22.04 换源后安装报错&#xff1f;你可能忽略了这些关键细节 最近在帮团队调试几台新部署的Ubuntu服务器时&#xff0c;遇到了一个看似简单却困扰了不少人的问题&#xff1a;明明已经将软件源更换为阿里云或清华镜像站&#xff0c;执行apt install时却依然报错&q…...

编程新知 2026/4/30 18:42:51

CodeCombat终极指南：三步掌握编程技能的游戏化学习之旅

CodeCombat终极指南&#xff1a;三步掌握编程技能的游戏化学习之旅 【免费下载链接】codecombat Game for learning how to code. 项目地址: https://gitcode.com/gh_mirrors/co/codecombat 在数字时代&#xff0c;编程已成为一项必备技能&#xff0c;但传统的学习方式往…...

编程新知 2026/4/30 17:20:39

OpenProject：为什么这个开源项目管理软件能提升团队协作效率65%？

OpenProject&#xff1a;为什么这个开源项目管理软件能提升团队协作效率65%&#xff1f; 【免费下载链接】openproject OpenProject is the leading open source project management software. 项目地址: https://gitcode.com/GitHub_Trending/op/openproject 在数字化转…...

编程新知 2026/4/30 17:08:26

独立开发者如何通过透明计费与多模型选择优化个人AI项目预算

独立开发者如何通过透明计费与多模型选择优化个人AI项目预算 1. 个人AI开发中的预算挑战 对于独立开发者或学生群体而言&#xff0c;个人AI项目的预算管理往往面临两个核心痛点。首先是模型选择单一化问题&#xff0c;当开发者仅能接入单一供应商的API时&#xff0c;既无法横…...

编程新知 2026/4/30 17:02:08

如何快速解决Windows和Office激活问题：完整免费解决方案指南

如何快速解决Windows和Office激活问题&#xff1a;完整免费解决方案指南 【免费下载链接】KMS_VL_ALL_AIO Smart Activation Script 项目地址: https://gitcode.com/gh_mirrors/km/KMS_VL_ALL_AIO 还在为系统激活弹窗烦恼&#xff1f;Office突然变成只读模式&#xff1f…...

编程新知 2026/4/30 15:54:58