当前位置： 首页 > news >正文

双流网络论文精读笔记

news 2026/4/4 18:17:36

精读视频：双流网络论文逐段精读【论文精读】_哔哩哔哩_bilibili

Two-Stream Convolutional Networks for Action Recognition in Videos

传统的神经网络难以学习到物体的运动信息，双流网络则通过光流将物体运动信息抽取出来再传递给神经网络 给模型提供先验信息，再让网络学习动作和输出的映射关系

其他论文：deep video

  • Spatial stream ConvNet：空间流神经网络，关注 appearance 信息，输入是单帧图片 输出分类概率，从静止图像中做动作识别 是图像分类任务，可以预训练
  • Temporal stream ConvNet：时间流神经网络，关注 motion information，输入一系列光流(optical flow)图片 输出也是分类概率
  • 两者分类概率取加权平均 得到最终预测

光流网络

光流

每两张图片得到一张光流 四张连续帧得到三个光流，分为水平运动和垂直运动的两维光流，每个像素点都有对应光流值

两种叠加光流图片输入到神经网络的方法

方法一：左边的图，直接堆叠，在每张图同样位置的像素点处询问该点的运动轨迹

方法二：根据像素点的轨迹，下一帧运动到另一点 再从那一点继续

Bi-directional optical flow 双向光流

上述两种方法都是前向的光流计算，而光流反过来计算也是可以的

作者把一个视频的前半段用于计算前向光流，后半段计算反向光流

光流网络的输入

空间流网络：输入 channel = 3，RGB三通道

时间流网络：L+1 张连续单帧图像得到 L 张光流图，输入的 channel 数是 2L，光流图的叠加是先叠加水平、后叠加竖直方向的光流位移

实现细节

测试部分

  • 不论视频多长，等间隔抽取 25 帧
  • 空间流：对每一帧，取四角和中心得到5张图，将该帧翻转过来后同样操作，共计得到10张；25帧则共250张图，都经过空间流神经网络得到结果
  • 时间流：对每一帧都往后取11帧图 抽取得到10张光流图

如何预处理和计算光流

每一帧、每个像素点都有光流值，处理需要的时间空间都太大，所以进行压缩：把光流值压缩到0~255且变成整数，并把光流存成JPEG图片形式 光流图变小了

相关文章：

双流网络论文精读笔记

精读视频：双流网络论文逐段精读【论文精读】_哔哩哔哩_bilibili Two-Stream Convolutional Networks for Action Recognition in Videos 传统的神经网络难以学习到物体的运动信息，双流网络则通过光流将物体运动信息抽取出来再传递给神经网络 给模型提供…...

编程日记 2023/11/30 14:20:47

机器人与3D视觉 Robotics Toolbox Python 一 安装 Robotics Toolbox Python

一 安装python 库 前置条件需要 Python > 3.6，使用pip 安装 pip install roboticstoolbox-python测试安装是否成功 import roboticstoolbox as rtb print(rtb.__version__)输出结果 二 Robotics Toolbox Python样例程序 加载机器人模型 加载由URDF文件定义…...

编程日记 2023/11/30 14:19:45

JS之Object.defineProperty方法

给对象添加属性的方法有许多，这次让我为大家介绍一种给对象添加属性的静态方法吧！ 语法：Objcet.defineProperty(对象的名称，“添加的键名”，{value：键值}) const obj {name:"张三",age:18}// 我…...

编程日记 2023/11/30 14:18:45

卷积神经网络（CNN）注意力检测

文章目录 一、前言二、前期工作1. 设置GPU（如果使用的是CPU可以忽略这步）2. 导入数据3. 查看数据 二、数据预处理1.加载数据2. 可视化数据4. 配置数据集 三、调用官方网络模型四、设置动态学习率五、编译六、训练模型七、模型评估1. Accuracy与Loss图2. …...

编程日记 2023/11/30 14:16:43

4. 权限,特权

对数据段特权检查对直接转移的代码段特权检查栈段的检查调用门的检查 权限问题: 由于CPL,DPL 无法完整表达权限的问题. 例如用户程序(CPL3)通过调用门(将调用到内核过程,从低权限到高权限)执行,此时CPL0,此时可以为所欲为.因此加入RPL.此参数由操作系统来保证,CPU仅使用 RPL:…...

编程日记 2023/11/30 14:14:41

云原生系列Go语言篇-泛型Part 2

类型推导和泛型 就像在使用​​:​​时支持类型推导一样，在调用泛型函数时Go同样支持类型推导。可在上面对​​Map​​、​​Filter​​和​​Reduce​​调用中看出。有些场景无法进行类型推导（如类型参数仅用作返回值）。这时，必…...

编程日记 2023/11/30 14:13:39

借助ETL快速查询金蝶云星空表单信息

随着数字化转型的加速，企业信息化程度越来越高，大量的数据产生并存储在云端，需要进行有效的数据管理和查询。金蝶云星空是金蝶云旗下的一款云ERP产品，为企业提供了完整的业务流程和数据管理功能，因此需要进行有效的数据…...

编程日记 2023/11/30 14:12:38

基于深度学习的驾驶员状态监测预警系统（正文）

摘 要 近年来驾驶员因疲劳驾驶而造成的交通事故逐年增多，驾驶员的驾驶状态对道路和人身安全产生重大影响，因此做好驾驶员驾驶状态的管理及预警是非常有必要的。 随着深度学习在目标检测算法应用的不断深入，YOLOv5等目标检测算法也相继具有了广…...

编程日记 2023/11/30 14:11:37

读书笔记之《价值》张磊

读书笔记之《价值》张磊 自序 这是一条长期主义之路 长期主义——把时间和信念投入能够长期产生价值的事情中，尽力学习最有效率的思维方式和行为标准，遵循第一性原理，永远探求真理。 真正的投资，有且只有一条标准，那…...

编程日记 2023/11/30 14:09:35

【shell】文本三剑客之sed详解

目录 一、sed简介（行编辑器） 二、基本用法 三、sed脚本格式（匹配地址 脚本命令） 1、不给地址，那么就是针对全文处理 2、单地址，表示#，指定的行，$表示最后一行，/pattt…...

编程日记 2023/11/30 14:07:32

Centos7 制作Openssh9.5 RPM包

Centos7 制作Openssh9.5 RPM包 最近都在升级Openssh版本到9.3.在博客里也放了openssh 9.5的rpm包. 详见:https://blog.csdn.net/qq_29974229/article/details/133878576 但还是有小伙伴不停追问这个rpm包是怎么做的,怕下载别人的rpm包里被加了盐. 于是做了个关于怎么用官方的o…...

编程日记 2023/11/30 14:06:30

C语言--每日选择题--Day30

第一题 1. i 5，j 7，i | j 等于多少？ A：1 B：3 C：5 D：7 答案及解析 D ｜这个是按位或运算符，两个数的二进制位，有1为1，同0为0； i的二进…...

编程日记 2023/11/30 14:05:30

LeetCode 274. H指数——排序

274. H 指数 给你一个整数数组 citations ，其中 citations[i] 表示研究者的第 i 篇论文被引用的次数。计算并返回该研究者的 h 指数。 根据维基百科上 h 指数的定义：h 代表“高引用次数” ，一名科研人员的 h 指数 是指他（她&…...

编程日记 2023/11/30 14:04:29

【洛谷 B2038】奇偶 ASCII 值判断 题解（顺序结构+取余）

奇偶 ASCII 值判断 题目描述 任意输入一个字符，判断其 ASCII 是否是奇数，若是，输出 YES，否则，输出 NO 。 例如，字符 A 的 ASCII 值是 65，则输出 YES，若输入字符 B(ASCII 值是 66…...

编程日记 2023/11/30 14:03:28

Ubuntu 20.4 源代码方式安装 cdo（笔记）

目录 动机安装过程python 调用cdo 动机 我找到的处理 era5-land 代码在需要用到 cdo，但是 sudo apt-get install cdo 总是出现 abort (core dump) 等问题，所以放弃这种安装方式，不走捷径，安装源代码，也就是 cdo-x.x.x…...

编程日记 2023/11/30 14:01:26

电子学会C/C++编程等级考试2022年12月（三级）真题解析

C/C++等级考试（1~8级）全部真题・点这里 第1题：鸡兔同笼 一个笼子里面关了鸡和兔子(鸡有2只脚，兔子有4只脚，没有例外)。已经知道了笼子里面脚的总数a，问笼子里面至少有多少只动物，至多有多少只动物。 时间限制：1000 内存限制：65536输入 一行，一个正整数a (a < 327…...

编程日记 2023/11/30 14:00:25

二叉树的最近公共祖先（C++实现）

二叉树的最近公共祖先 题目思路代码&#xff08;详细注释&#xff09; 题目 二叉树的最近公共祖先 思路 我们可以通过两个栈来实现 实现一个FindPath函数&#xff0c;用来查找从根节点到目标节点的路径&#xff08;路径可以用栈来保存&#xff09; 路径保存好后&#xff0c;…...

编程日记 2023/11/30 13:59:24

【conda】容易遗忘的命令使用总结

1. 在空conda虚拟环境中安装python 退出到base环境 conda activate base 执行命令 conda install -n 空环境名 python版本名 例如&#xff1a; conda install -n test python3.10 2. 无需确认直接创建环境 在末尾加上-y&#xff0c;例如&#xff1a; conda create -n tes…...

编程日记 2023/11/30 13:57:22

蓝桥杯第一天-----时间显示

文章目录 前言一、题目描述二、测试用例三、题目分析四、具体代码实现总结 前言 本章中将相信介绍蓝桥杯中关于时间显示的题目。 链接&#xff1a;https://www.lanqiao.cn/problems/1452/learning/ 一、题目描述 二、测试用例 三、题目分析 1.输入的时间为毫秒&#xff0c;毫…...

编程日记 2023/11/30 13:56:21

多文件夹图片预处理：清除空值、重置大小、分割训练集

→ 清理空值 防止出现cannot identify image file 参考Python数据清洗----删除读取失败图片__简单版_python用pil读取图片出错删除掉-CSDN博客 import os import shutil import warnings import cv2 import iofrom PIL import Image warnings.filterwarnings("error&qu…...

编程日记 2023/11/30 13:55:20

javaweb图书馆借阅管理系统设计与实现uv6546wm

目录同行可拿货,招校园代理 ,本人源头供货商功能分析用户管理模块图书管理模块借阅管理模块预约与通知模块统计与报表模块系统设置模块技术实现要点扩展功能&#xff08;可选&#xff09;项目技术支持源码获取详细视频演示 &#xff1a;文章底部获取博主联系方式&#xff01;同…...

编程新知 2026/4/4 17:41:42

程序员别再假装养生：你花3000块买保健品，却舍不得戒掉这3个坏习惯

深夜十一点&#xff0c;某程序员群突然炸了。有人发了张截图&#xff0c;是他双十一的购物记录&#xff1a;护肝片、维生素C、鱼油、钙片、褪黑素、护腰垫、人体工学鼠标......总价&#xff1a;6872元。底下评论清一色的"对自己好一点"、"程序员太难了"、&…...

编程新知 2026/4/4 16:48:47

awesome-ai-resources部署指南：如何高效组织个人AI学习资料库

awesome-ai-resources部署指南&#xff1a;如何高效组织个人AI学习资料库 【免费下载链接】awesome-ai-resources Learn AI and LLMs from scratch using free resources 项目地址: https://gitcode.com/gh_mirrors/aw/awesome-ai-resources 想要系统学习人工智能和大型…...

编程新知 2026/4/4 14:30:46

OpenFBX：轻量级FBX解析库的架构设计与性能优化实践

OpenFBX&#xff1a;轻量级FBX解析库的架构设计与性能优化实践 【免费下载链接】OpenFBX Lightweight open source FBX importer 项目地址: https://gitcode.com/gh_mirrors/op/OpenFBX OpenFBX是一款专为游戏引擎和3D应用设计的轻量级FBX文件解析库&#xff0c;通过仅两…...

编程新知 2026/4/4 14:22:39

字幕提取与格式转换解决B站内容离线使用难题：BiliBiliCCSubtitle的多场景应用指南

字幕提取与格式转换解决B站内容离线使用难题&#xff1a;BiliBiliCCSubtitle的多场景应用指南 【免费下载链接】BiliBiliCCSubtitle 一个用于下载B站(哔哩哔哩)CC字幕及转换的工具; 项目地址: https://gitcode.com/gh_mirrors/bi/BiliBiliCCSubtitle 当你在B站发现一门优…...

编程新知 2026/4/4 13:30:03

ProperTree：为什么这款跨平台GUI编辑器让配置管理变得如此简单？

ProperTree&#xff1a;为什么这款跨平台GUI编辑器让配置管理变得如此简单&#xff1f; 【免费下载链接】ProperTree Cross platform GUI plist editor written in python. 项目地址: https://gitcode.com/gh_mirrors/pr/ProperTree 还在为手动编辑复杂的Plist配置文件而…...

编程新知 2026/4/4 11:56:14

卡证检测矫正模型惊艳案例：护照芯片区域反光消除+四角点亚像素定位

卡证检测矫正模型惊艳案例&#xff1a;护照芯片区域反光消除四角点亚像素定位 你有没有遇到过这样的烦恼&#xff1f;用手机拍身份证、护照或者驾照&#xff0c;准备上传办理业务时&#xff0c;系统总是提示“照片不清晰”、“证件边缘不完整”或者“请拍摄正面照”。尤其是护…...

编程新知 2026/4/4 11:23:59

3步零成本改造：让老旧打印机秒变AirPrint无线打印服务器

3步零成本改造&#xff1a;让老旧打印机秒变AirPrint无线打印服务器 【免费下载链接】cups-avahi-airprint Docker image for CUPS intended as an AirPrint relay 项目地址: https://gitcode.com/gh_mirrors/cu/cups-avahi-airprint 当iPad遇上旧打印机&#xff1a;现代…...

编程新知 2026/4/4 10:59:41

新手友好！FUTURE POLICE语音解构模型快速入门：搭建智能音频处理流水线

新手友好&#xff01;FUTURE POLICE语音解构模型快速入门&#xff1a;搭建智能音频处理流水线 1. 认识FUTURE POLICE语音解构模型 1.1 什么是语音解构技术 想象一下&#xff0c;你有一段会议录音&#xff0c;想要快速找到某个关键词出现的确切时间点。传统语音识别只能告诉你…...

编程新知 2026/4/4 10:21:29

城通网盘下载速度慢？试试ctfileGet，让你畅享本地高速解析体验

城通网盘下载速度慢&#xff1f;试试ctfileGet&#xff0c;让你畅享本地高速解析体验 【免费下载链接】ctfileGet 获取城通网盘一次性直连地址 项目地址: https://gitcode.com/gh_mirrors/ct/ctfileGet 在数字化办公与学习中&#xff0c;网盘已成为文件传输的重要工具。…...

编程新知 2026/4/4 10:03:15