当前位置：首页 > news >正文

PyTorch 切片运算 (Slice Operator)

news 2025/10/30 6:57:41

PyTorch 切片运算 {Slice Operator}

1. `[:, -1, :]`
2. `[:, [-1], :]`
References

1. `[:, -1, :]`

https://github.com/karpathy/llama2.c/blob/master/model.py

import torchlogits = torch.arange(1, 16)
print("logits.shape:", logits.shape)
print("logits:\n", logits)logits = logits.view(1, 3, 5)
print("\nlogits.shape:", logits.shape)
print("logits:\n", logits)final_logit_1 = logits[:, -1, :]
print("\nfinal_logit_1.shape:", final_logit_1.shape)
print("final_logit_1:\n", final_logit_1)final_logit_2 = logits[:, -1]
print("\nfinal_logit_2.shape:", final_logit_2.shape)
print("final_logit_2:\n", final_logit_2)final_logit_3 = logits[:, 2, :]
print("\nfinal_logit_3.shape:", final_logit_3.shape)
print("final_logit_3:\n", final_logit_3)final_logit_4 = logits[:, 2]
print("\nfinal_logit_4.shape:", final_logit_4.shape)
print("final_logit_4:\n", final_logit_4)

/home/yongqiang/miniconda3/bin/python /home/yongqiang/llm_work/llama2.c/yongqiang.py 
logits.shape: torch.Size([15])
logits:tensor([ 1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11, 12, 13, 14, 15])logits.shape: torch.Size([1, 3, 5])
logits:tensor([[[ 1,  2,  3,  4,  5],[ 6,  7,  8,  9, 10],[11, 12, 13, 14, 15]]])final_logit_1.shape: torch.Size([1, 5])
final_logit_1:tensor([[11, 12, 13, 14, 15]])final_logit_2.shape: torch.Size([1, 5])
final_logit_2:tensor([[11, 12, 13, 14, 15]])final_logit_3.shape: torch.Size([1, 5])
final_logit_3:tensor([[11, 12, 13, 14, 15]])final_logit_4.shape: torch.Size([1, 5])
final_logit_4:tensor([[11, 12, 13, 14, 15]])Process finished with exit code 0

2. `[:, [-1], :]`

https://github.com/karpathy/llama2.c/blob/master/model.py

import torchlogits = torch.arange(1, 16)
print("logits.shape:", logits.shape)
print("logits:\n", logits)logits = logits.view(1, 3, 5)
print("\nlogits.shape:", logits.shape)
print("logits:\n", logits)final_logit_1 = logits[:, -1, :]
print("\nfinal_logit_1.shape:", final_logit_1.shape)
print("final_logit_1:\n", final_logit_1)final_logit_2 = logits[:, [-1], :]
print("\nfinal_logit_2.shape:", final_logit_2.shape)
print("final_logit_2:\n", final_logit_2)final_logit_3 = logits[:, -1]
print("\nfinal_logit_3.shape:", final_logit_3.shape)
print("final_logit_3:\n", final_logit_3)final_logit_4 = logits[:, [-1]]
print("\nfinal_logit_4.shape:", final_logit_4.shape)
print("final_logit_4:\n", final_logit_4)

/home/yongqiang/miniconda3/bin/python /home/yongqiang/llm_work/llama2.c/yongqiang.py 
logits.shape: torch.Size([15])
logits:tensor([ 1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11, 12, 13, 14, 15])logits.shape: torch.Size([1, 3, 5])
logits:tensor([[[ 1,  2,  3,  4,  5],[ 6,  7,  8,  9, 10],[11, 12, 13, 14, 15]]])final_logit_1.shape: torch.Size([1, 5])
final_logit_1:tensor([[11, 12, 13, 14, 15]])final_logit_2.shape: torch.Size([1, 1, 5])
final_logit_2:tensor([[[11, 12, 13, 14, 15]]])final_logit_3.shape: torch.Size([1, 5])
final_logit_3:tensor([[11, 12, 13, 14, 15]])final_logit_4.shape: torch.Size([1, 1, 5])
final_logit_4:tensor([[[11, 12, 13, 14, 15]]])Process finished with exit code 0

References

[1] Yongqiang Cheng, https://yongqiang.blog.csdn.net/

PyTorch 切片运算 (Slice Operator)

PyTorch 切片运算 {Slice Operator} 1. [:, -1, :]2. [:, [-1], :]References 1. [:, -1, :] https://github.com/karpathy/llama2.c/blob/master/model.py import torchlogits torch.arange(1, 16) print("logits.shape:", logits.shape) print("logits:\n&…...

编程日记 2024/12/13 2:23:53

SpringSecurity Oauth2 -账号密码实现多因子身份认证

1. 密码策略问题 CREATE TABLE t_storage (id bigint(20) NOT NULL AUTO_INCREMENT COMMENT 自增主键,nameSpace varchar(64) NOT NULL COMMENT 隔离字段,groupId varchar(128) NOT NULL COMMENT 分组，比如不同app,dataId varchar(64) NOT NULL COMMENT 数据存储id…...

编程日记 2024/12/13 2:20:49

【CSS in Depth 2 精译_071】11.4 思考字体颜色的对比效果 + 11.5 本章小结

当前内容所在位置（可进入专栏查看其他译好的章节内容） 第四部分视觉增强技术 ✔️【第 11 章颜色与对比】 ✔️ 11.1 通过对比进行交流 11.1.1 模式的建立11.1.2 还原设计稿 11.2 颜色的定义 11.2.1 色域与色彩空间11.2.2 CSS 颜色表示法 11.2.2.1 RGB…...

编程日记 2024/12/13 2:18:47

Y3编辑器文档4：触发器1（对话、装备、特效、行为树、排行榜、不同步问题）

文章目录一、触发器简介1.1 触发器界面1.2 ECA语句编辑及快捷键1.3 参数设置1.4 变量设置1.5 实体触发器1.6 函数库与触发器复用二、触发器的多层结构2.1 子触发器（在游戏内对新的事件进行注册）2.2 触发器变量作用域2.3 复合条件2.4 循环2.5 计时器2.6…...

编程日记 2024/12/13 2:15:43

趣味编程：猜拳小游戏

1.简介这个系列的第一篇以猜拳小游戏开始，这是源于我们生活的灵感，在忙碌的时代中，我们每个人都在为自己的生活各自忙碌着，奔赴着自己所走向的那条路上，即使遍体鳞伤。但是，生活虽然很苦，也不…...

编程日记 2024/12/13 2:13:40

软件工程概述

软件不仅仅是一个程序代码。程序是一个可执行的代码，它提供了一些计算的目的。软件被认为是集合可执行的程序代码，相关库和文档的软件。当满足一个特定的要求，就被称为软件产品。工程是所有有关开发的产品，使用良好定义的&…...

编程日记 2024/12/13 2:11:37

CountDownLatch阻塞后countDown未执行会如何？

背景某项目封装了 Kafka 消费者 API，根据传递的消费者线程数，创建 N 个消费者线程同时消费对应 topic 的数据，并在线程启动后收集到全局列表中，方便在程序调用 stop 流程时逐个停止。主控类在创建 Kafka 消费线程时使用了 Cou…...

编程日记 2024/12/13 2:02:26

k8s,operator

相对更加灵活和编程友好的管理“有状态应用”的解决方案，它就是：Operator 会议一下有状态应用： 比如数据库集群，数据挂载需要有顺序维护拓扑关系的应用使用statefulSet这个对象来描述。 CRD又是什么？ Operator的工作…...

编程日记 2024/12/13 1:52:17

使用 pyperclip 进行跨平台剪贴板操作

简介：pyperclip 是一个轻量级的 Python 库，支持在不同操作系统（Windows、macOS、Linux）中进行剪贴板的复制和粘贴。这个库的设计简单易用，非常适合需要频繁进行文本复制粘贴操作的场景。历史攻略： 使用f…...

编程日记 2024/12/13 1:50:14

20 设计模式之职责链模式（问题处理案例）

一、什么是职责链模式职责链模式是一种行为型设计模式，它允许将请求沿着处理者的链进行传递，直到有一个处理者能够处理它为止。换句话说，它将请求的发送者和接收者解耦，使得多个对象都有机会处理这个请求，从而避免了将…...

编程日记 2024/12/13 1:49:12

SpringBoot3集成MybatisPlus3和knife4j（swagger3兼容增强版）

针对Swagger2规范和OpenAPI3规范的说明：在Spring Boot框架中,Knife4j对于服务端将Spring的开放接口解析成Swagger2或者OpenAPI3规范的框架，也是依赖的第三方框架组件。说明如下： Swagger2规范：依赖Springfox项目，该项目目前几乎处于停更状态，但很多老项目依然使用的是该…...

编程日记 2024/12/13 1:45:09

【MIT-OS6.S081作业1.3】Lab1-utilities primes

本文记录MIT-OS6.S081 Lab1 utilities 的primes函数的实现过程文章目录 1. 作业要求primes (moderate)/(hard) 2. 实现过程2.1 代码实现 1. 作业要求 primes (moderate)/(hard) Write a concurrent version of prime sieve using pipes. This idea is due to Doug McIlroy, in…...

编程日记 2024/12/13 1:42:06

游戏引擎学习第35天

开场介绍今天的任务是继续改进一个虚拟的瓦片地图系统，使其适合处理更大的世界。我们希望这个系统能管理大范围的游戏世界，其中包含按需存储的小区域。昨天，我们介绍了“内存区域”的概念，用于管理持久性存储。我们计划今天继续…...

编程日记 2024/12/13 1:41:04

learn-(Uni-app)输入框u-search父子组件与input输入框(防抖与搜索触发)

1.父子组件u-search （1）父组件  <template> <div><searchBar change"change" search"search"></searchBar> </div> </template> <script> // 子组件搜索 import…...

编程日记 2024/12/13 1:37:58

设置IMX6ULL开发板的网卡IP的两种方法(临时生效和永久有效两种方法)

设置开发板网卡的IP，有两种方法。方法一：临时生效第一种方式是临时设置，只有本次有效，重启后又要重新设，命令为： ifconfig eth0 192.168.5.9设置成功后可以使用ifconfig命令来查看已设置的 IP 地址。 …...

编程日记 2024/12/13 1:36:56

流量转发利器之Burpsuite概述(1)

目录一、Burpsuite Burp Suite Spider 的主要特点： 在 Burp Suite 中使用 Spider： Spider 的用例： 限制： 声明：学习视频来自b站up主泷羽sec，如涉及侵权马上删除文章声明：本文主要用作技…...

编程日记 2024/12/13 1:30:49

Transformer入门（6）Transformer编码器的前馈网络、加法和归一化模块

文章目录 7.前馈网络8.加法和归一化组件9.组合所有编码器组件构成完整编码器 7.前馈网络编码器块中的前馈网络子层如下图所示： 图1.32 – 编码器块前馈网络由两个带有ReLU激活函数的全连接层组成。全连接层（Fully Connected Layer）有时也…...

编程日记 2024/12/13 1:27:47

element-plus中的resetFields（）方法

resetFields（）确实是Element Plus中的方法，该方法主要用于重置表单，将其值重置为初始值，并移除校验结果。以下是对该方法的详细解释： 一、resetFields方法的作用在Vue3结合Element Plus开发时&#xff0…...

编程日记 2024/12/13 1:26:46

【过滤器】.NET开源 ORM 框架 SqlSugar 系列

目录 0、过滤器介绍 1、表过滤器 （推荐） 1.1 手动添加过滤器 1.2 禁用、清空、备份和还原 1.3 联表查询设置 1.4 动态添加 2、修改和删除用过滤器 2.1 局部设置 2.2 全局设置 （5.1.4.62） 3、子查询用过滤器 4、联表过滤…...

编程日记 2024/12/13 1:25:45

Jmeter Address already in use: connect 解决

做压测接口时，并发一段时间后，会报java.net.BindException: Address already in use: connect 原因： windows提供给TCP/IP链接的端口为 1024-5000，并且要四分钟来循环回收它们，就导致在短时间内跑大量的请求时将端口占…...

编程日记 2024/12/13 1:22:42

突破不可导策略的训练难题：零阶优化与强化学习的深度嵌合

强化学习（Reinforcement Learning, RL）是工业领域智能控制的重要方法。它的基本原理是将最优控制问题建模为马尔可夫决策过程，然后使用强化学习的Actor-Critic机制（中文译作“知行互动”机制），逐步迭代求解…...

编程新知 2025/10/25 20:14:59

可靠性+灵活性：电力载波技术在楼宇自控中的核心价值

可靠性灵活性：电力载波技术在楼宇自控中的核心价值在智能楼宇的自动化控制中，电力载波技术（PLC）凭借其独特的优势，正成为构建高效、稳定、灵活系统的核心解决方案。它利用现有电力线路传输数据，无需额外布…...

编程新知 2025/9/27 2:43:26

CentOS下的分布式内存计算Spark环境部署

一、Spark 核心架构与应用场景 1.1 分布式计算引擎的核心优势 Spark 是基于内存的分布式计算框架，相比 MapReduce 具有以下核心优势： 内存计算：数据可常驻内存，迭代计算性能提升 10-100 倍（文档段落：3-79…...

编程新知 2025/10/29 19:04:46

在 Nginx Stream 层“改写”MQTT ngx_stream_mqtt_filter_module

1、为什么要修改 CONNECT 报文？ 多租户隔离：自动为接入设备追加租户前缀，后端按 ClientID 拆分队列。零代码鉴权：将入站用户名替换为 OAuth Access-Token，后端 Broker 统一校验。灰度发布：根据 IP/地理位写…...

编程新知 2025/8/1 10:20:23

在四层代理中还原真实客户端ngx_stream_realip_module

一、模块原理与价值 PROXY Protocol 回溯第三方负载均衡（如 HAProxy、AWS NLB、阿里 SLB）发起上游连接时，将真实客户端 IP/Port 写入 PROXY Protocol v1/v2 头。Stream 层接收到头部后，ngx_stream_realip_module 从中提取原始信息…...

编程新知 2025/9/22 20:53:03

Python实现prophet 理论及参数优化

文章目录 Prophet理论及模型参数介绍Python代码完整实现prophet 添加外部数据进行模型优化之前初步学习prophet的时候，写过一篇简单实现，后期随着对该模型的深入研究，本次记录涉及到prophet 的公式以及参数调优，从公式可以更直观…...

编程新知 2025/10/28 5:42:30

Nginx server_name 配置说明

Nginx 是一个高性能的反向代理和负载均衡服务器，其核心配置之一是 server 块中的 server_name 指令。server_name 决定了 Nginx 如何根据客户端请求的 Host 头匹配对应的虚拟主机（Virtual Host）。 1. 简介 Nginx 使用 server_name 指令来确定…...

编程新知 2025/9/6 16:47:17