self.register_buffer方法使用解析(pytorch)
self.register_buffer就是pytorch框架用来保存不更新参数的方法。
列子如下:
self.register_buffer("position_emb", torch.randn((5, 3)))
第一个参数position_emb传入一个字符串,表示这组参数的名字,第二个就是tensor形式的参数torch.randn((5, 3),并一次初始化后保存于模型,不会有梯度传播给它,能被模型的model.state_dict()记录下来,可以理解为模型的常数。当然,你想保留固定值,使用如下代码:
self.register_buffer("position_emb", torch.tensorrt([[2,5],[8,9]]))
进一步探讨训练对该参数是否有影响,答案是:没影响。具体可看下面实现的列子代码:
import torch
from torch.nn import Embeddingclass Model(torch.nn.Module):def __init__(self):super(Model, self).__init__()self.emb = Embedding(5, 3)self.register_buffer("position_emb", torch.randn((5, 3)))def forward(self,vec):input = torch.tensor([0, 1, 2, 3, 4])emb_vec1 = self.emb(input)emb_vec1=emb_vec1+self.position_emboutput = torch.einsum('ik, kj -> ij', emb_vec1, vec)return output
def simple_train():model = Model()vec = torch.randn((3, 1))label = torch.Tensor(5, 1).fill_(3)loss_fun = torch.nn.MSELoss()opt = torch.optim.SGD(model.parameters(), lr=0.015)print('初始化后position_emb参数:\n',model.position_emb)for iter_num in range(100):output = model(vec)loss = loss_fun(output, label)opt.zero_grad()loss.backward(retain_graph=True)opt.step()print('训练后position_emb参数:\n', model.position_emb)if __name__ == '__main__':simple_train() # 训练与保存权重
实现结果如下:

相关文章:
self.register_buffer方法使用解析(pytorch)
self.register_buffer就是pytorch框架用来保存不更新参数的方法。 列子如下: self.register_buffer("position_emb", torch.randn((5, 3)))第一个参数position_emb传入一个字符串,表示这组参数的名字,第二个就是tensor形式的参数…...
关于卷积神经网络中如何计算卷积核大小(kernels)
首先需要说明的一点是,虽然卷积层得名于卷积( convolution )运算,但我们通常在卷积层中使用更加直观的计算方式,叫做互相关( cross-correlation )运算。 也就是说,其实我们现在在这里…...
python使用selenium做自动化,最新版Chrome与chromedriver不兼容
目前Chrome版本是118.0.5993.118 下方是版本对应的下载地址: chrome版本118: https://download.csdn.net/download/qq_35845339/88510476 chrome版本119: chromedriverlinux64https://edgedl.me.gvt1.com/edgedl/chrome/chrome-for-testin…...
算法进阶指南图论 通信线路
通信线路 思路:我们考虑需要升级的那条电缆的花费,若其花费为 w ,那么从 1 到 n 的路径上,至多存在 k 条路径的价值大于 w ,这具有一定的单调性,当花费 w 越大,我们路径上价值大于 w 的花费会越…...
【QEMU-tap-windows-Xshell】QEMU 创建 aarch64虚拟机(附有QEMU免费资源)
“从零开始:在Windows上创建aarch64(ARM64)虚拟机” 前言 aarch64(ARM64)架构是一种现代的、基于 ARM 技术的计算架构,具有诸多优点,如低功耗、高性能和广泛应用等。为了在 Windows 平台上体验…...
strtok函数详解:字符串【分割】的利器
目录 一,strtok函数简介 二,strtok函数的用法 三,strtok函数的注意事项 一,strtok函数简介 strtok函数可以帮助我们将一个字符串按照指定的分隔符进行分割,从而得到我们想要的子字符串。 🍂函数头文件&am…...
winui3开发笔记(二)自定义标题栏
参考文章链接:https://www.programminghunter.com/article/46392310600/ 注意事项 获取 AppWindowTitleBar 的实例并设置其颜色属性时,InitializeTitleBar(AppWindow.TitleBar);,只适用于Windows App SDK 1.2及以上,所以如果用w…...
MapReduce 读写数据库
MapReduce 读写数据库 经常听到小伙伴吐槽 MapReduce 计算的结果无法直接写入数据库, 实际上 MapReduce 是有操作数据库实现的 本案例代码将实现 MapReduce 数据库读写操作和将数据表中数据复制到另外一张数据表中 准备数据表 create database htu; use htu; creat…...
设计模式 -- 状态模式(State Pattern)
状态模式:类的行为基于它的状态改变 属于行为型模式,创建表示各种状态的对象和一个行为随着状态对象改变而改变的 context 对象。在代码中包含大量与对象状态有关的条件语句可以通过此模式将各种具体的状态类抽象出来 介绍 意图:允许对象在…...
qt quick发布程序启动失败
qt quick/qml 程序发布之后,程序启动不了 经过探究测试,程序启动的不了的情况下是因为有dll没有添加。在release文件夹下进行发布操作(不单独复制xx.exe拿出来),再次点击IDE的RUN按钮,则会提示有Moudle没有…...
nginx反向代理报错合集
本文汇集了最近在使用nginx反向代理过程中遇到的一系列错误及其解决办法。 1缺乏支持项导致nginx配置错误 在利用sudo ./configure --with-http_ssl_module --with-http_stub_status_module进行配置时,往往会遇到以下类型的错误 error: the HTTP rewrite module …...
【Linux精讲系列】——vim详解
作者主页 📚lovewold少个r博客主页 ⚠️本文重点:c入门第一个程序和基本知识讲解 👉【C-C入门系列专栏】:博客文章专栏传送门 😄每日一言:宁静是一片强大而治愈的神奇海洋! 目录 目录 作者…...
微信小程序自动化采集方案
本文仅供学习交流,只提供关键思路不会给出完整代码,严禁用于非法用途,拒绝转载,若有侵权请联系我删除! 一、引言 1、对于一些破解难度大,花费时间长的目标,我们可以先采用自动化点击触发请求&…...
操作系统第三章王道习题_内存管理_总结易错知识点
1. 静态重定位和动态重定位 静态重定位(可重定位装入):作业在装入内存的时候,就修改它的物理地址. 静态重定位进程数据一旦确定位置,就不能再移动 动态重定位(动态运行时装入):作业装入内存的时候,不修改物理地址,直到运行的时候,根据重定位寄存器再修改地址. 对…...
uniapp刻度尺的实现(swiper)滑动打分器
实现图(百分制):滑动swiper进行打分,分数加减 <view class"scoring"><view class"toggle"><view class"score"><text>{{0}}</text><view class"scoreId&quo…...
cordova Xcode打包ios以及发布流程(ionic3适用)
第一步 1、申请iOS证书 2、导入证书到钥匙串 第二步 1、xcode配置iOS证书 1.1用Xcode打开你的项目(我的Xcode版本是新版) 修改如下图 回到基本信息设置界面,Bundie 这项填写,最先创建的那个appid,跟创建iOS描述文件时选…...
idea中的.idea文件夹以及*.iml文件(新版idea没有*.iml文件了),新旧版idea打开同一个项目会不会出现不兼容
一、背景 我们有可能会在同一台电脑上安装2个 intellj idea。比如一个community edition一个ultimate edition(一个安装板一个绿色解压版) 当然了,两个idea之间可能版本号也会有差。 这篇文章就来讨论两个问题,一是关于idea产生…...
高性能网络编程 - The C10K problem 以及 网络编程技术角度的解决思路
文章目录 C10KC10K的由来C10K问题在技术层面的典型体现C10K问题的本质C10K解决思路思路一:每个进程/线程处理一个连接思路二:每个进程/线程同时处理多个连接(IO多路复用)● 实现方式1:直接循环处理多个连接● 实现方式…...
uniapp u-tabs表单如何默认选中
首先先了解该组件;该组件,是一个tabs标签组件,在标签多的时候,可以配置为左右滑动,标签少的时候,可以禁止滑动。 该组件的一个特点是配置为滚动模式时,激活的tab会自动移动到组件的中间位置。 …...
2023年腾讯云双11活动入口在哪里?
2023年双11腾讯云推出了11.11大促优惠活动,下面给大家分享腾讯云双11活动入口、活动时间、活动详情,希望可以助力大家轻松上云! 一、腾讯云双11活动入口 活动地址:点此直达 二、腾讯云双11活动时间 腾讯云双11活动时间跨度很长…...
douyin-downloader:构建高效抖音内容获取系统的终极解决方案
douyin-downloader:构建高效抖音内容获取系统的终极解决方案 【免费下载链接】douyin-downloader A practical Douyin downloader for both single-item and profile batch downloads, with progress display, retries, SQLite deduplication, and browser fallback…...
用trl库和DeepSpeed,在单张消费级显卡上也能玩转LLaMA2的RLHF训练
在消费级显卡上实现LLaMA2的RLHF全流程训练:trl与DeepSpeed实战指南 当Meta发布LLaMA2系列开源模型时,整个AI社区都为之一振——直到人们发现,要完整实现RLHF(基于人类反馈的强化学习)训练流程,通常需要价值…...
Rust 性能优化的五个技巧
Rust 作为一门注重安全与性能的系统级编程语言,凭借其零成本抽象和内存安全特性,吸引了众多开发者的关注。即使 Rust 在默认情况下已经具备出色的性能,开发者仍然可以通过一些技巧进一步优化代码效率。本文将介绍五个实用的 Rust 性能优化技巧…...
STC15单片机定时器不够用?实战解析蓝桥杯决赛中超声波与NE555的定时器分配策略
STC15单片机定时器资源冲突实战:超声波与NE555的协同设计策略 在嵌入式系统开发中,资源管理始终是工程师面临的核心挑战之一。当我们在STC15F2K60S2单片机上同时实现超声波测距、NE555频率测量、数码管动态扫描和PWM输出等功能时,定时器资源的…...
CitySim交通数据集:如何为自动驾驶安全研究提供革命性数据支持?
CitySim交通数据集:如何为自动驾驶安全研究提供革命性数据支持? 【免费下载链接】UCF-SST-CitySim1-Dataset Official github page of UCF SST CitySim Dataset 项目地址: https://gitcode.com/gh_mirrors/ucf/UCF-SST-CitySim-Dataset 随着自动驾…...
MCP 2026沙箱资源隔离实战手册:从容器逃逸到Side-Channel攻击,7步构建零信任沙箱边界
更多请点击: https://intelliparadigm.com 第一章:MCP 2026沙箱资源隔离的核心架构演进 MCP 2026(Multi-Context Partitioning 2026)沙箱引入了基于硬件辅助的细粒度上下文感知隔离机制,突破传统容器与虚拟机在资源边…...
从地震速度谱到层速度剖面:手把手教你用Dix公式搞定储层预测
从地震速度谱到层速度剖面:手把手教你用Dix公式搞定储层预测 地震勘探的核心在于揭示地下结构,而速度参数则是连接时间域与深度域的桥梁。想象一下,当你面对一片未知的地下区域,如何通过地震数据解读出岩性分布?层速度…...
Sniffer抓包实战:从DNS解析到TCP握手,手把手教你分析一次完整的tracert命令
Sniffer抓包实战:从DNS解析到TCP握手,手把手教你分析一次完整的tracert命令 网络协议分析是每位网络工程师和运维人员的必修课。想象一下,当你面对一个网络连接问题时,能够像侦探一样通过数据包分析找出问题根源,这种能…...
TouchGal一站式Galgame社区:3步打造你的二次元游戏乐园
TouchGal一站式Galgame社区:3步打造你的二次元游戏乐园 【免费下载链接】kun-touchgal-next TouchGAL是立足于分享快乐的一站式Galgame文化社区, 为Gal爱好者提供一片净土! 项目地址: https://gitcode.com/gh_mirrors/ku/kun-touchgal-next 还在为寻找心仪的…...
量化小白也能懂:拆解‘神奇九转’公式背后的逻辑与在东方财富上的实战用法
量化小白也能懂:拆解‘神奇九转’公式背后的逻辑与在东方财富上的实战用法 第一次在东方财富客户端看到K线图上跳动的数字"9"时,我还以为是软件出了bug。后来才知道,这是被称为"神奇九转"的技术指标在发出信号——它正在…...
