当前位置：首页 > news >正文

双流网络论文精读笔记

news 2025/9/4 1:20:14

精读视频：双流网络论文逐段精读【论文精读】_哔哩哔哩_bilibili

Two-Stream Convolutional Networks for Action Recognition in Videos

传统的神经网络难以学习到物体的运动信息，双流网络则通过光流将物体运动信息抽取出来再传递给神经网络给模型提供先验信息，再让网络学习动作和输出的映射关系

其他论文：deep video

Spatial stream ConvNet：空间流神经网络，关注 appearance 信息，输入是单帧图片输出分类概率，从静止图像中做动作识别是图像分类任务，可以预训练
Temporal stream ConvNet：时间流神经网络，关注 motion information，输入一系列光流(optical flow)图片输出也是分类概率
两者分类概率取加权平均得到最终预测

光流网络

光流

每两张图片得到一张光流四张连续帧得到三个光流，分为水平运动和垂直运动的两维光流，每个像素点都有对应光流值

两种叠加光流图片输入到神经网络的方法

方法一：左边的图，直接堆叠，在每张图同样位置的像素点处询问该点的运动轨迹

方法二：根据像素点的轨迹，下一帧运动到另一点再从那一点继续

Bi-directional optical flow 双向光流

上述两种方法都是前向的光流计算，而光流反过来计算也是可以的

作者把一个视频的前半段用于计算前向光流，后半段计算反向光流

光流网络的输入

空间流网络：输入 channel = 3，RGB三通道

时间流网络：L+1 张连续单帧图像得到 L 张光流图，输入的 channel 数是 2L，光流图的叠加是先叠加水平、后叠加竖直方向的光流位移

实现细节

测试部分

不论视频多长，等间隔抽取 25 帧
空间流：对每一帧，取四角和中心得到5张图，将该帧翻转过来后同样操作，共计得到10张；25帧则共250张图，都经过空间流神经网络得到结果
时间流：对每一帧都往后取11帧图抽取得到10张光流图

如何预处理和计算光流

每一帧、每个像素点都有光流值，处理需要的时间空间都太大，所以进行压缩：把光流值压缩到0~255且变成整数，并把光流存成JPEG图片形式光流图变小了

双流网络论文精读笔记

精读视频：双流网络论文逐段精读【论文精读】_哔哩哔哩_bilibili Two-Stream Convolutional Networks for Action Recognition in Videos 传统的神经网络难以学习到物体的运动信息，双流网络则通过光流将物体运动信息抽取出来再传递给神经网络给模型提供…...

编程日记 2023/11/30 14:20:47

机器人与3D视觉 Robotics Toolbox Python 一安装 Robotics Toolbox Python

一安装python 库前置条件需要 Python > 3.6，使用pip 安装 pip install roboticstoolbox-python测试安装是否成功 import roboticstoolbox as rtb print(rtb.__version__)输出结果二 Robotics Toolbox Python样例程序加载机器人模型加载由URDF文件定义…...

编程日记 2023/11/30 14:19:45

JS之Object.defineProperty方法

给对象添加属性的方法有许多，这次让我为大家介绍一种给对象添加属性的静态方法吧！ 语法：Objcet.defineProperty(对象的名称，“添加的键名”，{value：键值}) const obj {name:"张三",age:18}// 我…...

编程日记 2023/11/30 14:18:45

卷积神经网络（CNN）注意力检测

文章目录一、前言二、前期工作1. 设置GPU（如果使用的是CPU可以忽略这步）2. 导入数据3. 查看数据二、数据预处理1.加载数据2. 可视化数据4. 配置数据集三、调用官方网络模型四、设置动态学习率五、编译六、训练模型七、模型评估1. Accuracy与Loss图2. …...

编程日记 2023/11/30 14:16:43

4. 权限,特权

对数据段特权检查对直接转移的代码段特权检查栈段的检查调用门的检查权限问题: 由于CPL,DPL 无法完整表达权限的问题. 例如用户程序(CPL3)通过调用门(将调用到内核过程,从低权限到高权限)执行,此时CPL0,此时可以为所欲为.因此加入RPL.此参数由操作系统来保证,CPU仅使用 RPL:…...

编程日记 2023/11/30 14:14:41

云原生系列Go语言篇-泛型Part 2

类型推导和泛型就像在使用:时支持类型推导一样，在调用泛型函数时Go同样支持类型推导。可在上面对Map、Filter和Reduce调用中看出。有些场景无法进行类型推导（如类型参数仅用作返回值）。这时，必…...

编程日记 2023/11/30 14:13:39

借助ETL快速查询金蝶云星空表单信息

随着数字化转型的加速，企业信息化程度越来越高，大量的数据产生并存储在云端，需要进行有效的数据管理和查询。金蝶云星空是金蝶云旗下的一款云ERP产品，为企业提供了完整的业务流程和数据管理功能，因此需要进行有效的数据…...

编程日记 2023/11/30 14:12:38

基于深度学习的驾驶员状态监测预警系统（正文）

摘要近年来驾驶员因疲劳驾驶而造成的交通事故逐年增多，驾驶员的驾驶状态对道路和人身安全产生重大影响，因此做好驾驶员驾驶状态的管理及预警是非常有必要的。随着深度学习在目标检测算法应用的不断深入，YOLOv5等目标检测算法也相继具有了广…...

编程日记 2023/11/30 14:11:37

读书笔记之《价值》张磊

读书笔记之《价值》张磊自序这是一条长期主义之路长期主义——把时间和信念投入能够长期产生价值的事情中，尽力学习最有效率的思维方式和行为标准，遵循第一性原理，永远探求真理。真正的投资，有且只有一条标准，那…...

编程日记 2023/11/30 14:09:35

【shell】文本三剑客之sed详解

目录一、sed简介（行编辑器） 二、基本用法三、sed脚本格式（匹配地址脚本命令） 1、不给地址，那么就是针对全文处理 2、单地址，表示#，指定的行，$表示最后一行，/pattt…...

编程日记 2023/11/30 14:07:32

Centos7 制作Openssh9.5 RPM包

Centos7 制作Openssh9.5 RPM包最近都在升级Openssh版本到9.3.在博客里也放了openssh 9.5的rpm包. 详见:https://blog.csdn.net/qq_29974229/article/details/133878576 但还是有小伙伴不停追问这个rpm包是怎么做的,怕下载别人的rpm包里被加了盐. 于是做了个关于怎么用官方的o…...

编程日记 2023/11/30 14:06:30

C语言--每日选择题--Day30

第一题 1. i 5，j 7，i | j 等于多少？ A：1 B：3 C：5 D：7 答案及解析 D ｜这个是按位或运算符，两个数的二进制位，有1为1，同0为0； i的二进…...

编程日记 2023/11/30 14:05:30

LeetCode 274. H指数——排序

274. H 指数给你一个整数数组 citations ，其中 citations[i] 表示研究者的第 i 篇论文被引用的次数。计算并返回该研究者的 h 指数。根据维基百科上 h 指数的定义：h 代表“高引用次数” ，一名科研人员的 h 指数是指他（她&…...

编程日记 2023/11/30 14:04:29

【洛谷 B2038】奇偶 ASCII 值判断题解（顺序结构+取余）

奇偶 ASCII 值判断题目描述任意输入一个字符，判断其 ASCII 是否是奇数，若是，输出 YES，否则，输出 NO 。例如，字符 A 的 ASCII 值是 65，则输出 YES，若输入字符 B(ASCII 值是 66…...

编程日记 2023/11/30 14:03:28

Ubuntu 20.4 源代码方式安装 cdo（笔记）

目录动机安装过程python 调用cdo 动机我找到的处理 era5-land 代码在需要用到 cdo，但是 sudo apt-get install cdo 总是出现 abort (core dump) 等问题，所以放弃这种安装方式，不走捷径，安装源代码，也就是 cdo-x.x.x…...

编程日记 2023/11/30 14:01:26

电子学会C/C++编程等级考试2022年12月（三级）真题解析

C/C++等级考试（1~8级）全部真题・点这里第1题：鸡兔同笼一个笼子里面关了鸡和兔子(鸡有2只脚，兔子有4只脚，没有例外)。已经知道了笼子里面脚的总数a，问笼子里面至少有多少只动物，至多有多少只动物。时间限制：1000 内存限制：65536输入一行，一个正整数a (a < 327…...

编程日记 2023/11/30 14:00:25

二叉树的最近公共祖先（C++实现）

二叉树的最近公共祖先题目思路代码（详细注释） 题目二叉树的最近公共祖先思路我们可以通过两个栈来实现实现一个FindPath函数，用来查找从根节点到目标节点的路径（路径可以用栈来保存） 路径保存好后，…...

编程日记 2023/11/30 13:59:24

【conda】容易遗忘的命令使用总结

1. 在空conda虚拟环境中安装python 退出到base环境 conda activate base 执行命令 conda install -n 空环境名 python版本名例如： conda install -n test python3.10 2. 无需确认直接创建环境在末尾加上-y，例如： conda create -n tes…...

编程日记 2023/11/30 13:57:22

蓝桥杯第一天-----时间显示

文章目录前言一、题目描述二、测试用例三、题目分析四、具体代码实现总结前言本章中将相信介绍蓝桥杯中关于时间显示的题目。链接：https://www.lanqiao.cn/problems/1452/learning/ 一、题目描述二、测试用例三、题目分析 1.输入的时间为毫秒，毫…...

编程日记 2023/11/30 13:56:21

→ 清理空值防止出现cannot identify image file 参考Python数据清洗----删除读取失败图片__简单版_python用pil读取图片出错删除掉-CSDN博客 import os import shutil import warnings import cv2 import iofrom PIL import Image warnings.filterwarnings("error&qu…...

编程日记 2023/11/30 13:55:20

SpringBoot-17-MyBatis动态SQL标签之常用标签

文章目录 1 代码1.1 实体User.java1.2 接口UserMapper.java1.3 映射UserMapper.xml1.3.1 标签if1.3.2 标签if和where1.3.3 标签choose和when和otherwise1.4 UserController.java2 常用动态SQL标签2.1 标签set2.1.1 UserMapper.java2.1.2 UserMapper.xml2.1.3 UserController.ja…...

编程新知 2025/9/3 9:09:35

React第五十七节 Router中RouterProvider使用详解及注意事项

前言在 React Router v6.4 中，RouterProvider 是一个核心组件，用于提供基于数据路由（data routers）的新型路由方案。它替代了传统的 <BrowserRouter>，支持更强大的数据加载和操作功能（如 loader 和…...

编程新知 2025/8/26 9:35:42

GitHub 趋势日报 (2025年06月08日)

📊 由 TrendForge 系统生成 | 🌐 https://trendforge.devlive.org/ 🌐 本日报中的项目描述已自动翻译为中文 📈 今日获星趋势图今日获星趋势图 884 cognee 566 dify 414 HumanSystemOptimization 414 omni-tools 321 note-gen …...

编程新知 2025/7/29 21:54:16

大语言模型（LLM）中的KV缓存压缩与动态稀疏注意力机制设计

随着大语言模型（LLM）参数规模的增长，推理阶段的内存占用和计算复杂度成为核心挑战。传统注意力机制的计算复杂度随序列长度呈二次方增长，而KV缓存的内存消耗可能高达数十GB（例如Llama2-7B处理100K token时需50GB内存&a…...

编程新知 2025/7/19 3:59:22

初学 pytest 记录

安装 pip install pytest用例可以是函数也可以是类中的方法 def test_func():print()class TestAdd: # def __init__(self): 在 pytest 中不可以使用__init__方法 # self.cc 12345 pytest.mark.api def test_str(self):res add(1, 2)assert res 12def test_int(self):r…...

编程新知 2025/8/29 7:51:21