当前位置： 首页 > news >正文

双流网络论文精读笔记

news 2026/4/4 17:28:03

精读视频：双流网络论文逐段精读【论文精读】_哔哩哔哩_bilibili

Two-Stream Convolutional Networks for Action Recognition in Videos

传统的神经网络难以学习到物体的运动信息，双流网络则通过光流将物体运动信息抽取出来再传递给神经网络 给模型提供先验信息，再让网络学习动作和输出的映射关系

其他论文：deep video

  • Spatial stream ConvNet：空间流神经网络，关注 appearance 信息，输入是单帧图片 输出分类概率，从静止图像中做动作识别 是图像分类任务，可以预训练
  • Temporal stream ConvNet：时间流神经网络，关注 motion information，输入一系列光流(optical flow)图片 输出也是分类概率
  • 两者分类概率取加权平均 得到最终预测

光流网络

光流

每两张图片得到一张光流 四张连续帧得到三个光流，分为水平运动和垂直运动的两维光流，每个像素点都有对应光流值

两种叠加光流图片输入到神经网络的方法

方法一：左边的图，直接堆叠，在每张图同样位置的像素点处询问该点的运动轨迹

方法二：根据像素点的轨迹，下一帧运动到另一点 再从那一点继续

Bi-directional optical flow 双向光流

上述两种方法都是前向的光流计算，而光流反过来计算也是可以的

作者把一个视频的前半段用于计算前向光流，后半段计算反向光流

光流网络的输入

空间流网络：输入 channel = 3，RGB三通道

时间流网络：L+1 张连续单帧图像得到 L 张光流图，输入的 channel 数是 2L，光流图的叠加是先叠加水平、后叠加竖直方向的光流位移

实现细节

测试部分

  • 不论视频多长，等间隔抽取 25 帧
  • 空间流：对每一帧，取四角和中心得到5张图，将该帧翻转过来后同样操作，共计得到10张；25帧则共250张图，都经过空间流神经网络得到结果
  • 时间流：对每一帧都往后取11帧图 抽取得到10张光流图

如何预处理和计算光流

每一帧、每个像素点都有光流值，处理需要的时间空间都太大，所以进行压缩：把光流值压缩到0~255且变成整数，并把光流存成JPEG图片形式 光流图变小了

相关文章：

双流网络论文精读笔记

精读视频：双流网络论文逐段精读【论文精读】_哔哩哔哩_bilibili Two-Stream Convolutional Networks for Action Recognition in Videos 传统的神经网络难以学习到物体的运动信息，双流网络则通过光流将物体运动信息抽取出来再传递给神经网络 给模型提供…...

编程日记 2023/11/30 14:20:47

机器人与3D视觉 Robotics Toolbox Python 一 安装 Robotics Toolbox Python

一 安装python 库 前置条件需要 Python > 3.6，使用pip 安装 pip install roboticstoolbox-python测试安装是否成功 import roboticstoolbox as rtb print(rtb.__version__)输出结果 二 Robotics Toolbox Python样例程序 加载机器人模型 加载由URDF文件定义…...

编程日记 2023/11/30 14:19:45

JS之Object.defineProperty方法

给对象添加属性的方法有许多，这次让我为大家介绍一种给对象添加属性的静态方法吧！ 语法：Objcet.defineProperty(对象的名称，“添加的键名”，{value：键值}) const obj {name:"张三",age:18}// 我…...

编程日记 2023/11/30 14:18:45

卷积神经网络（CNN）注意力检测

文章目录 一、前言二、前期工作1. 设置GPU（如果使用的是CPU可以忽略这步）2. 导入数据3. 查看数据 二、数据预处理1.加载数据2. 可视化数据4. 配置数据集 三、调用官方网络模型四、设置动态学习率五、编译六、训练模型七、模型评估1. Accuracy与Loss图2. …...

编程日记 2023/11/30 14:16:43

4. 权限,特权

对数据段特权检查对直接转移的代码段特权检查栈段的检查调用门的检查 权限问题: 由于CPL,DPL 无法完整表达权限的问题. 例如用户程序(CPL3)通过调用门(将调用到内核过程,从低权限到高权限)执行,此时CPL0,此时可以为所欲为.因此加入RPL.此参数由操作系统来保证,CPU仅使用 RPL:…...

编程日记 2023/11/30 14:14:41

云原生系列Go语言篇-泛型Part 2

类型推导和泛型 就像在使用​​:​​时支持类型推导一样，在调用泛型函数时Go同样支持类型推导。可在上面对​​Map​​、​​Filter​​和​​Reduce​​调用中看出。有些场景无法进行类型推导（如类型参数仅用作返回值）。这时，必…...

编程日记 2023/11/30 14:13:39

借助ETL快速查询金蝶云星空表单信息

随着数字化转型的加速，企业信息化程度越来越高，大量的数据产生并存储在云端，需要进行有效的数据管理和查询。金蝶云星空是金蝶云旗下的一款云ERP产品，为企业提供了完整的业务流程和数据管理功能，因此需要进行有效的数据…...

编程日记 2023/11/30 14:12:38

基于深度学习的驾驶员状态监测预警系统（正文）

摘 要 近年来驾驶员因疲劳驾驶而造成的交通事故逐年增多，驾驶员的驾驶状态对道路和人身安全产生重大影响，因此做好驾驶员驾驶状态的管理及预警是非常有必要的。 随着深度学习在目标检测算法应用的不断深入，YOLOv5等目标检测算法也相继具有了广…...

编程日记 2023/11/30 14:11:37

读书笔记之《价值》张磊

读书笔记之《价值》张磊 自序 这是一条长期主义之路 长期主义——把时间和信念投入能够长期产生价值的事情中，尽力学习最有效率的思维方式和行为标准，遵循第一性原理，永远探求真理。 真正的投资，有且只有一条标准，那…...

编程日记 2023/11/30 14:09:35

【shell】文本三剑客之sed详解

目录 一、sed简介（行编辑器） 二、基本用法 三、sed脚本格式（匹配地址 脚本命令） 1、不给地址，那么就是针对全文处理 2、单地址，表示#，指定的行，$表示最后一行，/pattt…...

编程日记 2023/11/30 14:07:32

Centos7 制作Openssh9.5 RPM包

Centos7 制作Openssh9.5 RPM包 最近都在升级Openssh版本到9.3.在博客里也放了openssh 9.5的rpm包. 详见:https://blog.csdn.net/qq_29974229/article/details/133878576 但还是有小伙伴不停追问这个rpm包是怎么做的,怕下载别人的rpm包里被加了盐. 于是做了个关于怎么用官方的o…...

编程日记 2023/11/30 14:06:30

C语言--每日选择题--Day30

第一题 1. i 5，j 7，i | j 等于多少？ A：1 B：3 C：5 D：7 答案及解析 D ｜这个是按位或运算符，两个数的二进制位，有1为1，同0为0； i的二进…...

编程日记 2023/11/30 14:05:30

LeetCode 274. H指数——排序

274. H 指数 给你一个整数数组 citations ，其中 citations[i] 表示研究者的第 i 篇论文被引用的次数。计算并返回该研究者的 h 指数。 根据维基百科上 h 指数的定义：h 代表“高引用次数” ，一名科研人员的 h 指数 是指他（她&…...

编程日记 2023/11/30 14:04:29

【洛谷 B2038】奇偶 ASCII 值判断 题解（顺序结构+取余）

奇偶 ASCII 值判断 题目描述 任意输入一个字符，判断其 ASCII 是否是奇数，若是，输出 YES，否则，输出 NO 。 例如，字符 A 的 ASCII 值是 65，则输出 YES，若输入字符 B(ASCII 值是 66…...

编程日记 2023/11/30 14:03:28

Ubuntu 20.4 源代码方式安装 cdo（笔记）

目录 动机安装过程python 调用cdo 动机 我找到的处理 era5-land 代码在需要用到 cdo，但是 sudo apt-get install cdo 总是出现 abort (core dump) 等问题，所以放弃这种安装方式，不走捷径，安装源代码，也就是 cdo-x.x.x…...

编程日记 2023/11/30 14:01:26

电子学会C/C++编程等级考试2022年12月（三级）真题解析

C/C++等级考试（1~8级）全部真题・点这里 第1题：鸡兔同笼 一个笼子里面关了鸡和兔子(鸡有2只脚，兔子有4只脚，没有例外)。已经知道了笼子里面脚的总数a，问笼子里面至少有多少只动物，至多有多少只动物。 时间限制：1000 内存限制：65536输入 一行，一个正整数a (a < 327…...

编程日记 2023/11/30 14:00:25

二叉树的最近公共祖先（C++实现）

二叉树的最近公共祖先 题目思路代码&#xff08;详细注释&#xff09; 题目 二叉树的最近公共祖先 思路 我们可以通过两个栈来实现 实现一个FindPath函数&#xff0c;用来查找从根节点到目标节点的路径&#xff08;路径可以用栈来保存&#xff09; 路径保存好后&#xff0c;…...

编程日记 2023/11/30 13:59:24

【conda】容易遗忘的命令使用总结

1. 在空conda虚拟环境中安装python 退出到base环境 conda activate base 执行命令 conda install -n 空环境名 python版本名 例如&#xff1a; conda install -n test python3.10 2. 无需确认直接创建环境 在末尾加上-y&#xff0c;例如&#xff1a; conda create -n tes…...

编程日记 2023/11/30 13:57:22

蓝桥杯第一天-----时间显示

文章目录 前言一、题目描述二、测试用例三、题目分析四、具体代码实现总结 前言 本章中将相信介绍蓝桥杯中关于时间显示的题目。 链接&#xff1a;https://www.lanqiao.cn/problems/1452/learning/ 一、题目描述 二、测试用例 三、题目分析 1.输入的时间为毫秒&#xff0c;毫…...

编程日记 2023/11/30 13:56:21

多文件夹图片预处理：清除空值、重置大小、分割训练集

→ 清理空值 防止出现cannot identify image file 参考Python数据清洗----删除读取失败图片__简单版_python用pil读取图片出错删除掉-CSDN博客 import os import shutil import warnings import cv2 import iofrom PIL import Image warnings.filterwarnings("error&qu…...

编程日记 2023/11/30 13:55:20

ECAPA-TDNN实战指南：构建高精度说话人验证系统

ECAPA-TDNN实战指南&#xff1a;构建高精度说话人验证系统 【免费下载链接】ECAPA-TDNN Unofficial reimplementation of ECAPA-TDNN for speaker recognition (EER0.86 for Vox1_O when train only in Vox2) 项目地址: https://gitcode.com/gh_mirrors/ec/ECAPA-TDNN 当…...

编程新知 2026/4/4 17:19:13

dji 妙算3编译ffmpeg启用h264_nvmpi h264_nvenc硬件加速

1. nvidia-codec-headers #版本 12.0.16 cd nv-codec-headers#更改Makefile文件&#xff0c;指定安装目录 vim Makefile PREFIX /open_app/user_installMakefile文件更改后如下所示make && make install2. nvidia-l4t-jetson-multimedia-api 下载包 wget https://repo…...

编程新知 2026/4/4 16:56:57

OpenCode-Tokenscope 安装和使用指南

OpenCode-Tokenscope 安装和使用指南全面的 OpenCode AI 会话 token 使用分析和成本追踪插件安装 方法 1: npm (推荐) 步骤 1: 全局安装 npm install -g ramtinj95/opencode-tokenscope步骤 2: 配置 opencode.json 在以下位置之一创建 opencode.json&#xff1a; 项目根目录~/.…...

编程新知 2026/4/4 16:32:39

ai辅助开发：向快马描述需求，直接生成jdk1.8实现的控制台通讯录项目

最近在尝试用Java开发一个简单的命令行通讯录程序&#xff0c;正好借这个机会体验了一把AI辅助开发的便利。整个过程让我深刻感受到&#xff0c;合理利用工具真的能大幅提升开发效率。下面记录下这个项目的实现思路和关键点&#xff0c;或许对同样想用JDK1.8练手的朋友有帮助。…...

编程新知 2026/4/4 15:13:15

实战演练：基于快马平台生成电商全流程自动化测试并与Jenkins集成

今天想和大家分享一个最近用InsCode(快马)平台完成的电商自动化测试实战项目。这个项目模拟了真实电商平台的核心业务流程&#xff0c;从用户注册登录到完成支付的全流程测试&#xff0c;特别适合需要快速搭建自动化测试体系的小伙伴参考。 项目背景与设计思路 电商系统的稳定…...

编程新知 2026/4/4 15:11:15

终极指南：如何使用PodSecurityContext构建云原生安全防护屏障

终极指南&#xff1a;如何使用PodSecurityContext构建云原生安全防护屏障 【免费下载链接】awesome-design-patterns A curated list of software and architecture related design patterns. 项目地址: https://gitcode.com/GitHub_Trending/aw/awesome-design-patterns …...

编程新知 2026/4/4 14:57:00

BiliTools：3个步骤将B站视频变成你的个人知识库

BiliTools&#xff1a;3个步骤将B站视频变成你的个人知识库 【免费下载链接】BiliTools A cross-platform bilibili toolbox. 跨平台哔哩哔哩工具箱&#xff0c;支持下载视频、番剧等等各类资源 项目地址: https://gitcode.com/GitHub_Trending/bilit/BiliTools 你是否曾…...

编程新知 2026/4/4 14:46:58

Python-100-Days：从算法优化到架构设计的深度技术演进

Python-100-Days&#xff1a;从算法优化到架构设计的深度技术演进 【免费下载链接】Python-100-Days Python - 100天从新手到大师 项目地址: https://gitcode.com/GitHub_Trending/py/Python-100-Days 在当今快速迭代的技术生态中&#xff0c;Python开发者的核心挑战已从…...

编程新知 2026/4/4 14:14:37

如何在10分钟内构建高质量AI语音克隆模型：Retrieval-based-Voice-Conversion-WebUI完全指南

如何在10分钟内构建高质量AI语音克隆模型&#xff1a;Retrieval-based-Voice-Conversion-WebUI完全指南 【免费下载链接】Retrieval-based-Voice-Conversion-WebUI Easily train a good VC model with voice data < 10 mins! 项目地址: https://gitcode.com/GitHub_Trendi…...

编程新知 2026/4/4 11:46:13

中国民办高职教育的未来10年发展趋势（2025-2035）年度深度战略研究报告

陈天伟 &#xff08;四川城市职业学院&#xff0c;四川 成都 610110&#xff09; 宏观战略背景&#xff1a;教育现代化2035与职业教育的定位转型 在迈向2035年基本实现社会主义现代化的征程中&#xff0c;中国职业教育正经历着从“补充教育”向“类型教育”的根本性转变。根…...

编程新知 2026/4/4 11:36:03