大语言模型（LLM）本身是无状态的,怎么固化记忆
大语言模型（LLM）本身是无状态的，无法直接“记住”历史对话或用户特定信息
大语言模型（LLM）本身是无状态的，无法直接“记住”历史对话或用户特定信息，但可以通过架构改进、外部记忆整合、训练方法优化等方案实现上下文记忆能力。
一、模型内部记忆增强：让LLM“记住”对话历史
1. 扩展上下文窗口（模型架构优化）
- 技术原理：
通过改进Transformer架构，增加模型可处理的上下文长度，直接将历史对话包含在输入中（即“隐性记忆”）。- 位置编码优化：如RoPE（旋转位置编码）支持更长序列，GPT-4支持8k~32k tokens，Claude 3支持100k tokens。
- 分层注意力：如LongNet、HydraNets，
相关文章：
大语言模型（LLM）本身是无状态的,怎么固化记忆
大语言模型（LLM）本身是无状态的，无法直接“记住”历史对话或用户特定信息 大语言模型（LLM）本身是无状态的，无法直接“记住”历史对话或用户特定信息，但可以通过架构改进、外部记忆整合、训练方法优化等方案实现上下文记忆能力。 一、模型内部记忆增强：让LLM“记住”…...
JUC入门（六）
12、四大函数式接口 Consumer<T>（消费者接口） 源码 功能 接收一个参数T，不返回任何结果。主要用于消费操作，例如打印日志、更新状态等。 使用场景 遍历集合并执行操作。 对象的字段赋值。 代码示例 import java.util.…...
std::chrono类的简单使用实例及分析
author: hjjdebug date: 2025年 05月 20日 星期二 14:36:17 CST descrip: std::chrono类的简单使用实例及分析 文章目录 1.实例代码:2. 代码分析:2.1 auto t1 std::chrono::high_resolution_clock::now();2.1.1 什么是 system_clock2.1.2 什么是 chrono::time_point?2.1.3 什…...
Git命令汇总（自用，持续更新update 5/23）
文章目录 Git常见命令1. 推送空提交2. 提交Clean-PR3. 回退add操作4. 交互式rebase4.1 切换模式4.2 保存与退出4.3 注意Rebase 5. 合并多个commit 问题一：Clone Github报错The TLS connection was non-properly terminated.TLS握手报错原因解决 问题二：F…...
window xampp apache使用腾讯云ssl证书配置https
下载腾讯云ssl证书： 编辑Apache根目录下 conf/httpd.conf 文件： #LoadModule ssl_module modules/mod_ssl.so和#Include conf/extra/httpd-ssl.conf，去掉前面的#号注释。 编辑Apache根目录下 conf/httpd-ssl.conf 文件： <Vi…...
MATLAB求解二元一次方程组基础教程
MATLAB求解二元一次方程组基础教程 一、二元一次方程组简介 二元一次方程组是包含两个未知数(x和y)的一组方程，每个方程中未知数的最高次数为1。一般形式为： a₁x b₁y c₁ a₂x b₂y c₂其中a₁, b₁, c₁, a₂, b₂, c₂为已知系数。 二、MATL…...
Android13 wifi设置国家码详解
Android13 wifi设置国家码详解 文章目录 Android13 wifi设置国家码详解一、前言二、设置wifi国家码相关代码1、adb或者串口也能设置和获取当前国家码（1）查询命令的方式（2）获取和设置国家码的示例 2、Java代码设置国家码3、获取当前…...
逆向音乐APP：Python爬虫获取音乐榜单 (1)
1. 引言 在数字音乐时代，许多平台如音乐有榜单，限制非付费用户访问高音质或独家内容。然而，从技术研究的角度来看，我们可以通过逆向工程和Python爬虫技术解音乐的API接口，获取付费音乐的播放链接。 2. 技术准备 在当…...
JVM 垃圾回收器
以下是对主流 JVM 垃圾回收器的详细解析，涵盖 一、Serial GC（单线程串行回收器） 二、Parallel GC（吞吐量优先回收器） 三、CMS（Concurrent Mark Sweep，低延迟回收器） 四、G1&…...
Java合并两个列表到目标列表，并且进行排序
可以通过使用addAll()方法将两个列表合并到目标列表中。以下是实现代码： java 复制 下载 List<LedgerRecord> rkRecordList warehouseMapper.selectLedgerRkRecordByMaterialNo(materialNo); List<LedgerRecord> ckRecordList warehouseMapper.se…...
Spring AI Alibaba集成阿里云百炼大模型应用
文章目录 1.准备工作2.引入maven依赖3.application.yml4.调用4.1.非流式调用4.2.流式调用 阿里云百炼推出的智能体应用、工作流应用和智能体编排应用，有效解决了大模型在处理私有领域问题、获取最新信息、遵循固定流程以及自动规划复杂项目等方面的局限，…...
22. 用例依赖装饰器的实现思路和方法
22. 用例依赖装饰器的实现思路和方法 一、核心功能解析 1.1 实现目标 depend(casetest_login) # 当test_login失败时跳过当前测试 def test_order(self):pass功能特性： 前置依赖检测自动跳过失效用例异常依赖关系校验实时结果分析 二、代码逐行解析 2.1 自定义…...
支持向量存储：PostgresSQL及pgvector扩展详细安装步骤！老工程接入RAG功能必备！
之前文章和大家分享过，将会出一篇专栏（从电脑装ubuntu系统，到安装ubuntu的常用基础软件：jdk、python、node、nginx、maven、supervisor、minio、docker、git、mysql、redis、postgresql、mq、ollama等），目前…...
【部署】如何离线环境创建docker容器执行python命令行程序
回到目录 【部署】如何离线环境创建docker容器执行python命令行程序 本文以 dify_import项目为例，讲解如何在离线服务器上，搭建docker容器环境，执行python命令行程序 1. 一台有互联网的服务器(ubuntu24.04) 1.1. 拉取一个ubuntu的docker镜…...
idea常用配置 properties中文输出乱码
propertis配置中文乱码 源码和编译后的都是中文 程序输入效果 idea配置3处 程序输出效果 自定义注释模板 IDEA 中有以下两种配置模板。 File and Code Templates Live Templates File and Code Templates File and Code Templates 用来配置文件和代码模板，即…...
【Bluedroid】蓝牙 HID Host connect全流程源码解析
蓝牙 HID（Human Interface Device，人机接口设备）是智能设备与外设（如键盘、鼠标、游戏手柄）交互的核心协议。本文围绕Android蓝牙 HID 主机模块的连接流程，从上层应用发起连接请求开始，逐层解析协议栈内部的状态检查、设备管理、SDP 服务发现、L2CAP 通道建立等关键步骤…...
day1 大模型学习 Qwen系列学习
Qwen 模型学习笔记：RM、SFT 与 RLHF 技术解析 一、Qwen 模型概述 Qwen 是阿里巴巴开源的大型语言模型系列，旨在实现通用人工智能（AGI）。其架构包括基础语言模型（如 Qwen-7B、Qwen-14B、Qwen-72B）和经过后训练的对话模型（如 Qwen-Chat）。后训练主要通过 SFT 和 RLHF 技…...
Unity3D仿星露谷物语开发47之砍树时落叶特效
1、目标 当橡树被砍伐时的落叶粒子效果。 2、创建粒子物体 Hierarchy -> PersistentScene下创建新物体命名为DeciduousLeavesFalling。 添加Particle System组件。 基础配置如下：（暂时勾选Looping实时可以看生成效果，后面反选即可&am…...
第十节第六部分：常见API：DateTimeFormatter、Period、Duration
DateTimeFormatter类常用方法 Period类常用方法 Duration类常用方法 总结 代码： 代码一：DateTimeFormatter类常用方法 package com.itheima.jdk8_time;import java.time.LocalDateTime; import java.time.format.DateTimeFormatter;public class DateT…...
如何在VSCode中更换默认浏览器：完整指南
引言 作为前端开发者，我们经常需要在VSCode中快速预览HTML文件。默认情况下，VSCode会使用系统默认浏览器打开文件，但有时我们可能需要切换到其他浏览器进行测试。本文将详细介绍如何在VSCode中更换默认浏览器。 方法一：使用VSCo…...
B2160 病人排队
题目描述 编写一个程序，将登记的病人按照以下原则排出看病的先后顺序： 老年人（年龄 ≥60 岁）比非老年人优先看病。老年人按年龄从大到小的顺序看病，年龄相同的按登记的先后顺序排序。非老年人按登记的先后顺序看病。输入格式 第 1 行，输入一个小于 100 的正整数，表示病人…...
【机器人】复现 3D-Mem 具身探索和推理 | 3D场景记忆 CVPR 2025
3D-Mem 是用于具体探索和推理的3D场景记忆，来自CVPR 2025. 本文分享3D-Mem复现和模型推理的过程～ 下面是一个推理和选择识别的结果： 看一下机器人探索的效果： 下面是真实环境下，官方跑的demo，3D-Mem无需训…...
鸿蒙进阶——CMakelist、GN语法简介及三方库通用移植指南
文章大纲 引言一、GN常用的内置变量二、GN常用的内置函数三、CMake 重要语法1、生成动态库2、生成静态库3、生成OBJECT 库4、重要的函数和模块4.1、add_definitions4.2、execute_process4.3、add_dependencies4.4、install4.5、FetchContent 四、GN 重要语法1、编译Target2、预…...
CSS-5.1 Transition 过渡
本系列可作为前端学习系列的笔记，代码的运行环境是在HBuilder中，小编会将代码复制下来，大家复制下来就可以练习了，方便大家学习。 HTML系列文章 已经收录在前端专栏，有需要的宝宝们可以点击前端专栏查看！ 点…...
TTS：VITS-fast-fine-tuning 快速微调 VITS
1，项目概述 VITS是一种语音合成的方法，是一个完全端到端的TTS 模型，它使用预先训练好的语音编码器将文本转化为语音，并且是直接从文本到语音波形的转换，无需额外的中间步骤或特征提取。 VITS的工作流程为：…...
从虚拟仿真到行业实训再到具身智能--华清远见嵌入式物联网人工智能全链路教学方案
2025年5月23-25日，第63届中国高等教育博览会（高博会）将在长春中铁东北亚国际博览中心举办。作为国内高等教育领域规模大、影响力广的综合性展会，高博会始终聚焦教育科技前沿，吸引全国高校管理者、一线教师、教育科技企…...
告别手动绘图！2分钟用 AI 生成波士顿矩阵
波士顿矩阵作为经典工具，始终是企业定位产品组合、制定竞争策略的核心方法论。然而，传统手动绘制矩阵的方式，往往面临数据处理繁琐、图表调整耗时、团队协作低效等痛点。 随着AI技术的发展，这一现状正在被彻底改变。boardmix博思白…...
GraphPad Prism工作表的管理
《2025新书现货 GraphPad Prism图表可视化与统计数据分析（视频教学版）雍杨 康巧昆 清华大学出版社教材书籍 9787302686460 GraphPadPrism图表可视化 无规格》【摘要 书评 试读】- 京东图书 GraphPad Prism统计数据分析_夏天又到了的博客-CSDN博客 工作…...
UE 材质几个输出向量节点
PixelNormalWS...
【modelscope/huggingface 通过colab将huggingface 模型/数据集/空间转移到 modelscope并下载】
1. 准备 注册一个modelscope账号（国内的）拿到对应的访问令牌SDK/API令牌注册一个google账号， 登录colab 2. 开始干! 打开一个ipynb 安装依赖包 !pip install -qqq modelscope huggingface-hub -U选择安装git lfs !curl -s https://packag…...