当前位置：首页 > news >正文

主流大语言模型的技术细节

news 2026/4/3 21:28:05

主流大语言模型的技术原理细节从预训练到微调https://mp.weixin.qq.com/s/P1enjLqH-UWNy7uaIviWRA

比较 LLaMA、ChatGLM、Falcon 等大语言模型的细节：tokenizer、位置编码、Layer Normalization、激活函数等。2. 大语言模型的分布式训练技术：数据并行、张量模型并行、流水线并行、3D 并行、零冗余优化器 ZeRO、CPU 卸载技术 ZeRo-offload、混合精度训练、激活重计算技术、Flash Attention、Paged Attention。3. 大语言模型的参数高效微调技术：prompt tuning、prefix tuning、adapter、LLaMA-adapter、 LoRA。

主流大语言模型的技术细节

主流大语言模型的技术原理细节从预训练到微调https://mp.weixin.qq.com/s/P1enjLqH-UWNy7uaIviWRA 比较 LLaMA、ChatGLM、Falcon 等大语言模型的细节：tokenizer、位置编码、Layer Normalization、激活函数等。2. 大语言模型的分布式训练技术：数据并行、…...

编程日记 2023/10/27 9:26:31

面试经典150题——Day22

文章目录一、题目二、题解一、题目 6. Zigzag Conversion The string “PAYPALISHIRING” is written in a zigzag pattern on a given number of rows like this: (you may want to display this pattern in a fixed font for better legibility) P A H N A P L S I I G …...

编程日记 2023/10/27 9:25:30

for循环三种跳出循环的方法（retrun、continue、break）

1、continue：指的是跳出当前循环，即不执行continue后的语句，直接进入下次循环。【continue语句和break语句差不多。不同的是，它不是退出一个循环，而是跳出当前循环，进行下一轮循环】 public static void…...

编程日记 2023/10/27 9:24:29

React中的受控组件（controlled component）和非受控组件（uncontrolled component）

聚沙成塔每天进步一点点 ⭐ 专栏简介前端入门之旅：探索Web开发的奇妙世界欢迎来到前端入门之旅！感兴趣的可以订阅本专栏哦！这个专栏是为那些对Web开发感兴趣、刚刚踏入前端领域的朋友们量身打造的。无论你是完全的新手还是有一些基础的开发…...

编程日记 2023/10/27 9:23:28

python 查找波峰和波谷

import numpy as np import matplotlib.pyplot as plt from scipy.signal import find_peaks# 生成示例信号 x np.array([1, 3, 7, 1, 2, 6, 0, 4, 3, 2, 5, 1])# 寻找波峰 peaks, _ find_peaks(x)# 寻找波谷（使用信号的负数形式） valleys, _ find_pe…...

编程日记 2023/10/27 9:22:27

深入理解 Document Load 和 Document Ready 的区别

目录前言： 一、Document Ready 二、Document Load 三、理解和总结前言： 在前端开发中，理解页面加载的不同阶段是至关重要的。特别是当我们需要在页面加载到特定阶段时执行某些操作时，我们需要知道应该使用 document ready 还…...

编程日记 2023/10/27 9:21:26

有趣的算法（七） ——快速排序改进算法

有趣的算法（七） ——快速排序改进算法目录有趣的算法（七） ——快速排序改进算法本文章向大家介绍有趣的算法（七） ——快速排序改进算法，主要内容包括其使用实例、应用技巧、基本知识点总结…...

编程日记 2023/10/27 9:20:25

Vue3 + Tsx 集成 ace-editor编辑器

Ace Editor介绍 Ace Editor（全名：Ajax.org Cloud9 Editor）是一个开源的代码编辑器，旨在提供强大的代码编辑功能，通常用于构建基于Web的代码编辑应用程序。它最初由Cloud9 IDE开发，现在由开源社区维护。主…...

编程日记 2023/10/27 9:19:24

TypeScritpt中的namespace

namesapce 它是在ES模块诞生前，ts自己发明的模块功能，目前已经不推荐使用了，namespace意为命名空间，就是模块化的意思。 1. 基本用法 namespace用来建立一个容器，内部的所有变量和函数只能在容器内部才能使用。 nam…...

编程日记 2023/10/27 9:18:23

LeetCode75——Day17

文章目录一、题目二、题解一、题目 1493. Longest Subarray of 1’s After Deleting One Element Given a binary array nums, you should delete one element from it. Return the size of the longest non-empty subarray containing only 1’s in the resulting array.…...

编程日记 2023/10/27 9:17:22

Spring中Bean的作用域

目录一、什么是Bean的作用域二、Scope注解三、Bean的6种作用域 3.1 singleton单例模式 3.2 prototype 原型模式 3.3 request 3.4 session 3.5 application 3.6 websocket 一、什么是Bean的作用域在之前学习的过程中，我们把作用域定义为：限定程序中变…...

编程日记 2023/10/27 9:16:21

什么是命令行参数解析和选项处理？

在C语言中，命令行参数解析和选项处理是一项关键的编程技术，它使程序能够从命令行接受参数和选项，以在运行时进行不同的配置和控制。这对于命令行工具、应用程序和脚本编写非常重要，因为它允许用户以不同的方式自定义程序的行为。本…...

编程日记 2023/10/27 9:15:20

网络协议--TFTP：简单文件传送协议

15.1 引言 TFTP(Trivial File Transfer Protocol)即简单文件传送协议，最初打算用于引导无盘系统（通常是工作站或X终端）。和将在第27章介绍的使用TCP的文件传送协议（FTP）不同，为了保持简单和短小&#xff0…...

编程日记 2023/10/27 9:14:19

MongoDB 的集群架构与设计

一、前言 MongoDB 有三种集群架构模式，分别为主从复制（Master-Slaver）、副本集（Replica Set）和分片（Sharding）模式。 Master-Slaver 是一种主从复制的模式，目前已经不推荐使用。Re…...

编程日记 2023/10/27 9:13:17

volatile 系列之实现原理

我们通过volatile解决了由于编译器的指令重排序导致的可见性问题，这意味着volatile 底层用到了内存屏障，下面我们从它的部分源码中找一下内存屏障相关的痕迹。通过javap-V VolatileExample.class打印VolatileExample类的字节指令如下。 public static …...

编程日记 2023/10/27 9:12:16

【黑马程序员】mysql进阶篇笔记

2023年10月26日17:50:43 58.01. 进阶-课程介绍(Av765670802,P58) 59.02. 进阶-存储引擎-MySQL体系结构(Av765670802,P59) 60.03. 进阶-存储引擎-简介(Av765670802,P60) 61.04. 进阶-存储引擎-InnoDB介绍(Av765670802,P61) 62.05. 进阶-存储引擎-MyISAM和Memory(Av765670802…...

编程日记 2023/10/27 9:11:14

A - Block Sequence

思路： （1）对于每一个位置，有三种选择，一是选择删除，二是选择当排头清洗，三是被前面的排头清洗； （2）注意到总是要求将最后一位数清洗完，即前面信…...

编程日记 2023/10/27 9:10:13

0031【Edabit ★☆☆☆☆☆】【使用箭头函数】Using Arrow Functions

0031【Edabit ★☆☆☆☆☆】【使用箭头函数】Using Arrow Functions data_structures language_fundamentals Instructions Create a function that returns the given argument, but by using an arrow function. An arrow function is constructed like so: arrowFunc(/*p…...

编程日记 2023/10/27 9:09:11

C#，数值计算——分类与推理，基座向量机（SVM，Support Vector Machines）的计算方法与源程序

把 Support Vector Machines 翻译成支持向量机是书呆子翻译。基座向量机不好吗。 1 文本格式 using System; namespace Legalsoft.Truffer { /// <summary> /// Support Vector Machines /// </summary> public class Svm { priv…...

编程日记 2023/10/27 9:08:11

面试总结之消息中间件

RabbitMQ的消息如何实现路由 RabbitMQ是一个基于AMQP协议实现的分布式消息中间件，AMQP具体的工作机制是生产者将消息发送到RabbitMQ Broker上的Exchange交换机上，Exchange交换机将收到的消息根据路由规则发给绑定的队列（Queue）&am…...

编程日记 2023/10/27 9:07:10

嵌入式软件开发中的柔性数组机制

在嵌入式系统开发中，内存资源始终是最核心的约束之一。无论是微控制器还是低功耗控制终端，程序设计都必须在有限的存储空间中实现功能、效率与可靠性的平衡。因此，开发者不仅需要关注算法逻辑，还必须重视数据结构对内存的占用方式。在这种背景下，柔性数组成为嵌入式软件…...

编程新知 2026/4/3 20:43:32

解密Prompt系列69. 从上下文管理到Runtime操作系统

AM）”，将 Runtime 视为“状态（State）”，构建一套属于智能体的“操作系统”。最近，ByteDance 的 Context-Folding、MIT 的 RLM、以及热门项目 Ralph 的出现，共同指向了一个极其明确的趋势&…...

编程新知 2026/4/3 20:31:27

保姆级教程：用PyTorch 1.13.1在GPU上跑通PointNet分类与分割（附自写推理脚本）

从零实现PointNet分类与分割：PyTorch 1.13.1 GPU实战指南当你第一次接触3D点云处理时，可能会被各种复杂的数学公式和算法吓退。但PointNet的出现改变了这一局面——这个开创性的网络架构直接处理原始点云数据，无需复杂的体素化或网格化预处理…...

编程新知 2026/4/3 20:27:26

雯雯的后宫-造相Z-Image-瑜伽女孩部署避坑指南：xinference.log日志错误排查大全

雯雯的后宫-造相Z-Image-瑜伽女孩部署避坑指南：xinference.log日志错误排查大全部署一个AI文生图模型，最让人头疼的往往不是写提示词，而是服务启动时那一串串让人摸不着头脑的日志。特别是当你满怀期待地部署“雯雯的后宫-造相Z-Image-瑜伽…...

编程新知 2026/4/3 19:20:48

宝塔面板怎样实现数据库的多地异地自动备份_结合阿里云OSS与定时任务插件

宝塔面板需通过定时任务ossutilmysqldump实现阿里云OSS数据库自动备份：先配置ossutil及MySQL凭据文件，再编写含时间戳命名与NTP校时的Shell脚本，避免依赖无效的远程备份模块。宝塔面板怎么配置阿里云OSS自动备份数据库能，但得绕过…...

编程新知 2026/4/3 18:50:25

【DIY小记】解决MacOS上Edge浏览器bilibili全屏卡顿的问题

近日笔者发现自己Macbook-Pro播放B站视频，全屏的时候必然卡顿，退出全屏就没事。笔者电脑的参数是： 芯片：M3系统：Tahoe 26.4浏览器：Edge 到网上一查发现《Edge浏览器在MacOS 26(Tahoe)系统上看B站卡顿》一…...

编程新知 2026/4/3 18:48:25

Windows系统盘空间告急？Driver Store Explorer帮你轻松清理冗余驱动，快速释放10GB+

Windows系统盘空间告急？Driver Store Explorer帮你轻松清理冗余驱动，快速释放10GB 【免费下载链接】DriverStoreExplorer Driver Store Explorer 项目地址: https://gitcode.com/gh_mirrors/dr/DriverStoreExplorer 你是否曾困惑于Windows系统盘空…...

编程新知 2026/4/3 18:38:19

快速启动Tensorboard并解决本地端口访问问题的实战指南

1. Tensorboard快速启动指南 Tensorboard是TensorFlow生态中不可或缺的可视化工具，它能直观展示模型训练过程中的损失曲线、准确率、计算图等重要信息。但很多新手在第一次使用时，常常卡在启动后无法访问的环节。这里分享我调试过上百个模型总结出的启动…...

编程新知 2026/4/3 18:09:34

Qwen2.5-14B-Instruct开源模型落地：像素剧本圣殿短视频脚本批量生成

Qwen2.5-14B-Instruct开源模型落地：像素剧本圣殿短视频脚本批量生成 1. 项目概述像素剧本圣殿（Pixel Script Temple）是一款基于Qwen2.5-14B-Instruct深度微调的专业剧本创作工具。它将顶尖的AI推理能力与8-Bit复古美学完美融合&#xff0c…...

编程新知 2026/4/3 17:53:26

文件自动同步软件哪个好？企业级高效安全同步方案测评

文件自动同步软件对于许多中大型企业来说，是不可或缺的底层基础设施。不管是内部的多个服务器系统之间，跨部门团队之间，还是和外部的供应链伙伴、总部分支机构之间，都需要依赖文件自动同步软件来实现安全、自动化的文件传输与数据…...

编程新知 2026/4/3 16:50:33

相关文章：