当前位置： 首页 > news >正文

主流大语言模型的技术细节

news 文章来源：https://blog.csdn.net/u012193416/article/details/134052811 2025/5/17 10:32:08

主流大语言模型的技术原理细节从预训练到微调icon-default.png?t=N7T8https://mp.weixin.qq.com/s/P1enjLqH-UWNy7uaIviWRA

比较 LLaMA、ChatGLM、Falcon 等大语言模型的细节：tokenizer、位置编码、Layer Normalization、激活函数等。2. 大语言模型的分布式训练技术：数据并行、张量模型并行、流水线并行、3D 并行、零冗余优化器 ZeRO、CPU 卸载技术 ZeRo-offload、混合精度训练、激活重计算技术、Flash Attention、Paged Attention。3. 大语言模型的参数高效微调技术：prompt tuning、prefix tuning、adapter、LLaMA-adapter、 LoRA。

 

相关文章：

主流大语言模型的技术细节

主流大语言模型的技术原理细节从预训练到微调https://mp.weixin.qq.com/s/P1enjLqH-UWNy7uaIviWRA 比较 LLaMA、ChatGLM、Falcon 等大语言模型的细节：tokenizer、位置编码、Layer Normalization、激活函数等。2. 大语言模型的分布式训练技术：数据并行、…...

编程日记 2023/10/27 9:26:31

面试经典150题——Day22

文章目录 一、题目二、题解 一、题目 6. Zigzag Conversion The string “PAYPALISHIRING” is written in a zigzag pattern on a given number of rows like this: (you may want to display this pattern in a fixed font for better legibility) P A H N A P L S I I G …...

编程日记 2023/10/27 9:25:30

for循环三种跳出循环的方法（retrun、continue、break）

1、continue：指的是跳出当前循环，即不执行continue后的语句，直接进入下次循环。 【continue语句和break语句差不多。不同的是，它不是退出一个循环，而是跳出当前循环，进行下一轮循环】 public static void…...

编程日记 2023/10/27 9:24:29

React中的受控组件（controlled component）和非受控组件（uncontrolled component）

聚沙成塔每天进步一点点 ⭐ 专栏简介 前端入门之旅：探索Web开发的奇妙世界 欢迎来到前端入门之旅！感兴趣的可以订阅本专栏哦！这个专栏是为那些对Web开发感兴趣、刚刚踏入前端领域的朋友们量身打造的。无论你是完全的新手还是有一些基础的开发…...

编程日记 2023/10/27 9:23:28

python 查找波峰和波谷

import numpy as np import matplotlib.pyplot as plt from scipy.signal import find_peaks# 生成示例信号 x np.array([1, 3, 7, 1, 2, 6, 0, 4, 3, 2, 5, 1])# 寻找波峰 peaks, _ find_peaks(x)# 寻找波谷（使用信号的负数形式） valleys, _ find_pe…...

编程日记 2023/10/27 9:22:27

深入理解 Document Load 和 Document Ready 的区别

目录 前言： 一、Document Ready 二、Document Load 三、理解和总结 前言： 在前端开发中，理解页面加载的不同阶段是至关重要的。特别是当我们需要在页面加载到特定阶段时执行某些操作时，我们需要知道应该使用 document ready 还…...

编程日记 2023/10/27 9:21:26

有趣的算法（七） ——快速排序改进算法

有趣的算法（七） ——快速排序改进算法 目录 有趣的算法（七） ——快速排序改进算法 本文章向大家介绍有趣的算法（七） ——快速排序改进算法，主要内容包括其使用实例、应用技巧、基本知识点总结…...

编程日记 2023/10/27 9:20:25

Vue3 + Tsx 集成 ace-editor编辑器

Ace Editor介绍 Ace Editor（全名：Ajax.org Cloud9 Editor）是一个开源的代码编辑器，旨在提供强大的代码编辑功能，通常用于构建基于Web的代码编辑应用程序。它最初由Cloud9 IDE开发，现在由开源社区维护。 主…...

编程日记 2023/10/27 9:19:24

TypeScritpt中的namespace

namesapce 它是在ES模块诞生前，ts自己发明的模块功能，目前已经不推荐使用了，namespace意为命名空间，就是模块化的意思。 1. 基本用法 namespace用来建立一个容器，内部的所有变量和函数只能在容器内部才能使用。 nam…...

编程日记 2023/10/27 9:18:23

LeetCode75——Day17

文章目录 一、题目二、题解 一、题目 1493. Longest Subarray of 1’s After Deleting One Element Given a binary array nums, you should delete one element from it. Return the size of the longest non-empty subarray containing only 1’s in the resulting array.…...

编程日记 2023/10/27 9:17:22

Spring中Bean的作用域

目录 一、什么是Bean的作用域 二、Scope注解 三、Bean的6种作用域 3.1 singleton单例模式 3.2 prototype 原型模式 3.3 request 3.4 session 3.5 application 3.6 websocket 一、什么是Bean的作用域 在之前学习的过程中，我们把作用域定义为：限定程序中变…...

编程日记 2023/10/27 9:16:21

什么是命令行参数解析和选项处理？

在C语言中，命令行参数解析和选项处理是一项关键的编程技术，它使程序能够从命令行接受参数和选项，以在运行时进行不同的配置和控制。这对于命令行工具、应用程序和脚本编写非常重要，因为它允许用户以不同的方式自定义程序的行为。本…...

编程日记 2023/10/27 9:15:20

网络协议--TFTP：简单文件传送协议

15.1 引言 TFTP(Trivial File Transfer Protocol)即简单文件传送协议，最初打算用于引导无盘系统（通常是工作站或X终端）。和将在第27章介绍的使用TCP的文件传送协议（FTP）不同，为了保持简单和短小&#xff0…...

编程日记 2023/10/27 9:14:19

MongoDB 的集群架构与设计

一、前言 MongoDB 有三种集群架构模式，分别为主从复制（Master-Slaver）、副本集（Replica Set）和分片（Sharding）模式。 Master-Slaver 是一种主从复制的模式，目前已经不推荐使用。Re…...

编程日记 2023/10/27 9:13:17

volatile 系列之实现原理

我们通过volatile解决了由于编译器的指令重排序导致的可见性问题，这意味着volatile 底层用到了内存屏障，下面我们从它的部分源码中找一下内存屏障相关的痕迹。 通过javap-V VolatileExample.class打印VolatileExample类的字节指令如下。 public static …...

编程日记 2023/10/27 9:12:16

【黑马程序员】mysql进阶篇笔记

2023年10月26日17:50:43 58.01. 进阶-课程介绍(Av765670802,P58) 59.02. 进阶-存储引擎-MySQL体系结构(Av765670802,P59) 60.03. 进阶-存储引擎-简介(Av765670802,P60) 61.04. 进阶-存储引擎-InnoDB介绍(Av765670802,P61) 62.05. 进阶-存储引擎-MyISAM和Memory(Av765670802…...

编程日记 2023/10/27 9:11:14

A - Block Sequence

思路： （1）对于每一个位置，有三种选择，一是选择删除，二是选择当排头清洗，三是被前面的排头清洗； （2）注意到总是要求将最后一位数清洗完，即前面信…...

编程日记 2023/10/27 9:10:13

0031【Edabit ★☆☆☆☆☆】【使用箭头函数】Using Arrow Functions

0031【Edabit ★☆☆☆☆☆】【使用箭头函数】Using Arrow Functions data_structures language_fundamentals Instructions Create a function that returns the given argument, but by using an arrow function. An arrow function is constructed like so: arrowFunc(/*p…...

编程日记 2023/10/27 9:09:11

C#，数值计算——分类与推理，基座向量机（SVM，Support Vector Machines）的计算方法与源程序

把 Support Vector Machines 翻译成 支持向量机 是书呆子翻译。基座向量机 不好吗。 1 文本格式 using System; namespace Legalsoft.Truffer { /// <summary> /// Support Vector Machines /// </summary> public class Svm { priv…...

编程日记 2023/10/27 9:08:11

面试总结之消息中间件

RabbitMQ的消息如何实现路由 RabbitMQ是一个基于AMQP协议实现的分布式消息中间件&#xff0c;AMQP具体的工作机制是生产者将消息发送到RabbitMQ Broker上的Exchange交换机上&#xff0c;Exchange交换机将收到的消息根据路由规则发给绑定的队列&#xff08;Queue&#xff09;&am…...

编程日记 2023/10/27 9:07:10

Java零基础入门-逻辑运算符

前言 Java是一种广泛应用的编程语言&#xff0c;在在这里插入代码片软件开发中有着重要的地位。本文将介绍Java中的逻辑运算符及其在程序设计中的应用&#xff0c;希望能够帮助零基础的读者更好地入门学习Java。 摘要 本文将介绍Java中的三种逻辑运算符&#xff1a;与运算符…...

编程日记 2023/10/27 9:06:09

图的应用3.0-----拓扑排序

目录 前言 AOE网 1.相关概念 2.AOE网特征 拓扑排序 1.基本概念 2.方法步骤 3.拓扑排序的应用 拓扑排序代码实现 1.邻接矩阵的代码 2.邻接表代码 前言 今天我们学习图的应用----拓扑排序&#xff0c;说到排序&#xff0c;你们是不是会想到冒泡排序&#xff0c;插入排序…...

编程日记 2023/10/27 9:05:08

Unity之ShaderGraph如何实现冰冻效果

前言 今天我们来实现一个冰冻的效果，非常的炫酷哦。 如下图所示： 主要节点 Voronoi：根据输入UV生成 Voronoi 或Worley噪声。Voronoi 噪声是通过计算像素和点阵之间的距离生成的。通过由输入角度偏移控制的伪随机数偏移这些点，可以生成细胞簇。这些单元的规模以及产生的…...

编程日记 2023/10/27 9:04:06

解决 viteprees 中 vp-doc 内置样式影响组件预

解决 viteprees 中 vp-doc 样式影响组件预览 问题 当使用"vitepress": "1.0.0-rc.22"作为组件库文档时&#xff0c;会自动引入vitepress的默认主题&#xff0c; 其中vp-doc中有大量的html标签样式 ... .vp-doc table {display: block;border-collapse: …...

编程日记 2023/10/27 9:03:05

flask 和fastdeploy 快速部署 yolov3

服务端 from flask import Flask,request,render_template from flask import session,redirect,jsonify import cv2 import numpy as np import base64 import os import fastdeploy as fd import datetime,timeapp=Flask(__name__)from logging import config,getLogger lo…...

编程日记 2023/10/27 9:02:04

Go 反射

文章目录 获取类型和值获取属性的类型和值通过反射修改值获取方法的名称和类型调用方法反射的缺点 获取类型和值 之前讲过接口nil不一定等于空接口&#xff0c;因为一个 interface 底层 由 type value 构成&#xff0c;只有 type 和 value 都匹配&#xff0c;才能 reflect.Vl…...

编程日记 2023/10/27 9:01:03

竞赛选题 深度学习卷积神经网络垃圾分类系统 - 深度学习 神经网络 图像识别 垃圾分类 算法 小程序

文章目录 0 简介1 背景意义2 数据集3 数据探索4 数据增广(数据集补充)5 垃圾图像分类5.1 迁移学习5.1.1 什么是迁移学习&#xff1f;5.1.2 为什么要迁移学习&#xff1f; 5.2 模型选择5.3 训练环境5.3.1 硬件配置5.3.2 软件配置 5.4 训练过程5.5 模型分类效果(PC端) 6 构建垃圾…...

编程日记 2023/10/27 9:00:02

ts-node模块

ts-node模块 是一个非官方的npm模块&#xff0c;可以直接运行JS代码。 安装&#xff1a; npm install -g ts-node使用&#xff1a; ts-node script.ts如果不安装ts-node&#xff0c;可以通过npx在线调用ts-node&#xff0c;运行ts脚本。 npx ts-node script.ts...

编程日记 2023/10/27 8:59:02

【VUE】ElementPlus之动态主题色调切换(Vue3 + Element Plus+Scss + Pinia)

前言 关于ElementPlus的基础主题色自定义可以参阅《【VUE】ElementPlus之自定义主题样式和命名空间》 有了上面基础的了解&#xff0c;我们知道ElementPlus的主题色调是基于CSS3变量特性进行全局控制的&#xff0c; 那么接下来我们也基于CSS3变量来实现主题色调的动态切换效果&…...

编程日记 2023/10/27 8:58:01

MySQL数据库基本操作1

文章目录 主要内容一.DDL1.创建表代码如下&#xff08;示例&#xff09;: 2.创建表的类型3.其他操作4.修改表结构格式代码如下&#xff08;示例&#xff09;: 二.DML1.数据插入代码如下&#xff08;示例&#xff09;: 2.数据修改代码如下&#xff08;示例&#xff09;: 3.数据删…...

编程日记 2023/10/27 8:56:59