【嵌入式 Linux 音视频+ AI 实战项目】瑞芯微 Rockchip 系列 RK3588-基于深度学习的人脸门禁+ IPC 智能安防监控系统
前言
本文主要介绍我最近开发的一个个人实战项目，“基于深度学习的人脸门禁+ IPC 智能安防监控系统”，全程满帧流畅运行。这个项目我目前全网搜了一圈，还没发现有相关类型的开源项目。这个项目只要稍微改进下，就可以变成市面上目前流行的三款产品，人脸识别门禁系统、IPC 安防和 NVR。在最下面会有视频演示。
本项目适用于瑞芯微 Rockchip 系列的板端，如果本篇文章点赞超过 100，我将整理后开源~
功能
人脸门禁系统
- 人靠近自动亮屏，人走自动息屏
- 支持人脸识别
- 支持录入人脸，并进行人脸配对（极速配对 < 0.2S）
IPC 智能安防监控系统
- 支持通过 onvif 实时查看摄像头画面
- 支持实时目标检测（支持高达80种物体检测）
- 支持录像
- 支持检测到人时自动录像
- 支持检测到人时自动报警
用到的硬件
- 野火鲁班猫4 RK3588S2
- IMX415 800W 4k 摄像头
- RTL8822CE Wifi+BT
- mipi LCD RGB 7寸 1024×600 触摸屏
- 人体红外检测 SR501：通过 GPIO 读取相应数值，用于判断是否有人靠近
- 128×32 OLED屏：通过 I2C 通信显示画面内容，用于显示人脸检测结果
- 蓝牙音箱
用到的深度学习模型
- yolo11：用于实时目标检测
- retinaFace：用于人脸检测
- facenet：用于人脸特征提取
模型需要经过转换和量化，并且进行精度评估，如果不知道如何在 Rockchip 平台进行模型转换的同学，可以参考我这篇文章：《瑞芯微 Rockchip 系列 RK3588 主流深度学习框架模型转成 rknn 模型教程》
用到的技术栈
- C++
- RKNN：用于在 Rockchip 上进行 NPU 推理
- FFmpeg：用于音视频编解码，使用了 ffmpeg-rockchip 库进行 MPP 硬件编解码，提高编解码速度
- Opencv：用于视频帧处理
- LVGL：流行的 GUI 框架
- Bluez-Alsa：用于连接蓝牙音箱并播放音频
- Onvif：一个流行的 IP 摄像头协议标准，支持在电脑端直接查看摄像头画面，操作摄像头云台等等
线程架构图
这个项目涉及的线程较多，其中包含推理线程池、渲染线程、处理线程等待，使用了原子操作、锁、条件变量等解决了线程同步问题。
线程架构如下图所示：
如果不理解线程池概念的同学，可以参考我这篇文章：《C++ 线程池浅析》
项目演示
项目改进
由于是个人项目且时间有限，因此还存在很多可优化空间。
比如在人脸门禁系统中，可以有如下改进：
- 加入 IR 摄像头，进行活体检测
- 为人脸门禁系统加入 NFC 模块，支持通过 NFC 解锁
- 为人脸门禁系统加入指纹模块，支持通过指纹解锁
- 添加 mysql 数据库，将姓名、年龄、工号、人脸特征进行存储
- …
而在 IPC 安防摄像头系统中，可以有如下改进：
- 加入舵机云台，完善 onvif，支持远程控制云台转动
- 对 yolo11 模型进行微调，加入摔倒识别、火焰识别、打架识别等等
- 加入 IRCUT 滤光片，添加 IR 灯，实现日夜切换功能
- 加入 webrtc，实现实时对话功能
- …
相关文章：
【嵌入式 Linux 音视频+ AI 实战项目】瑞芯微 Rockchip 系列 RK3588-基于深度学习的人脸门禁+ IPC 智能安防监控系统
前言 本文主要介绍我最近开发的一个个人实战项目，“基于深度学习的人脸门禁 IPC 智能安防监控系统”，全程满帧流畅运行。这个项目我目前全网搜了一圈，还没发现有相关类型的开源项目。这个项目只要稍微改进下，就可以变成市面上目前…...
前端布局与交互实现技巧
前端布局与交互实现技巧 1. 保持盒子在中间位置 在网页设计中，经常需要将某个元素居中显示。以下是一种常见的实现方式： HTML 结构 <!doctype html> <html lang"en"> <head><meta charset"UTF-8"><m…...
idea 找不到或者无法加载主类
idea项目，之前一直是正常运行的，放假了之后再回来就遇到启动不了的问题。 WebApplication这个类右键运行的时候，也提示找不到主类。 对于这种之前运行没有问题，突然出问题的项目。 我的点是没有改动代码和数据的情况下项目就跑不起…...
Flink 调用海豚调度器 SQL 脚本实现1份SQL流批一体化的方案和可运行的代码实例
目录 一、流批一体化概述 二、Flink 与海豚调度器结合实现流批一体化的好处 2.1 代码复用性增强 2.2 开发和维护成本降低 2.3 数据一致性保证 2.4 提高系统的灵活性和可扩展性 三、实现思路步骤 3.1 环境准备 3.2 编写 SQL 脚本并上传到海豚调度器 3.3 实现资源下载功…...
ES6 Map 数据结构是用总结
1. Map 基本概念 Map 是 ES6 提供的新的数据结构，它类似于对象，但是"键"的范围不限于字符串，各种类型的值（包括对象）都可以当作键。Map 也可以跟踪键值对的原始插入顺序。 1.1 基本用法 // 创建一个空Map…...
go结构体详解
结构体简介 Golang 中没有“类”的概念，Golang 中的结构体和其他语言中的类有点相似。和其他面向对象语言中的类相比，Golang 中的结构体具有更高的扩展性和灵活性。 Golang 中的基础数据类型可以表示一些事物的基本属性，但是当我们想表达一…...
机器学习-关于线性回归的表示方式和矩阵的基本运算规则
最近在学习机器学习的过程中，发现关于线性回归的表示和矩阵的运算容易费解，而且随着学习的深入容易搞混，因此特意做了一些研究，并且记录下来和大家分享。 一、线性模型有哪些表示方式？ 器学习中，线性模型…...
kafka 3.5.0 raft协议安装
前言 最近做项目，需要使用kafka进行通信，且只能使用kafka，笔者没有测试集群，就自己搭建了kafka集群，实际上笔者在很早之前就搭建了，因为当时还是zookeeper（简称ZK）注册元数据&#…...
后台管理系统网页开发
CSS样式代码 /* 后台管理系统样式文件 */ #container{ width:100%; height:100%; /* background-color:antiquewhite;*/ display:flex;} /* 左侧导航区域:宽度300px*/ .left{ width:300px; height: 100%; background-color:#203453; display:flex; flex-direction:column; jus…...
使用一个大语言模型对另一个大语言模型进行“调教”
使用一个大语言模型对另一个大语言模型进行“调教”（通常称为微调或适配），是一种常见的技术手段，用于让目标模型更好地适应特定的任务、领域或风格。以下是基于搜索结果整理的详细步骤和方法： 1.准备工作 安装必要的…...
golang使用sqlite3，开启wal模式，并发读写
因为sqlite是基于文件的，所以默认情况下，sqlite是不支持并发读写的，即写操作会阻塞其他操作，同时sqlite也很容易就产生死锁。 但是作为一个使用广泛的离线数据库，从sqlite3.7.0版本开始（SQLite Release 3.…...
如何利用maven更优雅的打包
最近在客户现场部署项目，有两套环境，无法连接互联网，两套环境之间也是完全隔离，于是问题就来了，每次都要远程到公司电脑改完代码，打包，通过网盘（如果没有会员，上传下载慢…...
音频进阶学习十二——Z变换一（Z变换、收敛域、性质与定理）
文章目录 前言一、Z变换1.Z变换的作用2.Z变换公式3.Z的状态表示1） r 1 r1 r12） 0 < r < 1 0<r<1 0<r<13） r > 1 r>1 r>1 4.关于Z的解释 二、收敛域1.收敛域的定义2.收敛域的表示方式3.ROC的分析1）当 …...
cursor指令工具
Cursor 工具使用指南与实例 工具概览 Cursor 提供了一系列强大的工具来帮助开发者提高工作效率。本指南将通过具体实例来展示这些工具的使用方法。 1. 目录文件操作 1.1 查看目录内容 (list_dir) 使用 list_dir 命令可以查看指定目录下的文件结构： 示例： list_dir log…...
MySQL 主从读写分离实现方案（一）—MariaDB MaxScale实现mysql8读写分离
一：MaxScale 是干什么的？? MaxScale是maridb开发的一个mysql数据中间件，其配置简单，能够实现读写分离，并且可以根据主从状态实现写库的自动切换，对多个从服务器能实现负载均衡。 二：MaxScale …...
阿里云 | DeepSeek人工智能大模型安装部署
ModelScope是阿里云人工智能大模型开源社区 ModelScope网络链接地址 https://www.modelscope.cn DeepSeek模型库网络链接地址 https://www.modelscope.cn/organization/deepseek-ai 如上所示，在阿里云人工智能大模型开源社区ModelScope中，使用阿里云…...
LLAMA-Factory安装教程（解决报错cannot allocate memory in static TLS block的问题）
步骤一： 下载基础镜像 # 配置docker DNS vi /etc/docker/daemon.json # daemon.json文件中 { "insecure-registries": ["https://swr.cn-east-317.qdrgznjszx.com"], "registry-mirrors": ["https://docker.mirrors.ustc.edu.c…...
STM32 CUBE Can调试
STM32 CUBE Can调试 1、CAN配置2、时钟配置3、手动添加4、回调函数5、启动函数和发送函数6、使用方法(采用消息队列来做缓存)7、数据不多在发送函数中获取空邮箱发送，否则循环等待空邮箱 1、CAN配置 2、时钟配置 3、手动添加 需要注意的是STM32CUBE配置的代码需要再…...
MySQL数据存储- 索引组织表
索引组织表 前言数据存储堆表索引组织表 二级索引二级索引的性能评估🔹为什么 idx_name 的性能开销最大？🔹 为什么 idx_last_modify_date 更新频繁会影响性能？分析二级索引性能表格为什么主键应该“紧凑且顺序”？二级索…...
基于STM32设计的仓库环境监测与预警系统
目录 项目开发背景设计实现的功能项目硬件模块组成设计思路系统功能总结使用的模块的技术详情介绍总结 1. 项目开发背景 随着工业化和现代化的进程，尤其是在制造业、食品业、医药业等行业，仓库环境的监控和管理成为了至关重要的一环。尤其是在存储易腐…...
java调用dll出现unsatisfiedLinkError以及JNA和JNI的区别
UnsatisfiedLinkError 在对接硬件设备中，我们会遇到使用 java 调用 dll文件 的情况，此时大概率出现UnsatisfiedLinkError链接错误，原因可能有如下几种 类名错误包名错误方法名参数错误使用 JNI 协议调用，结果 dll 未实现 JNI 协…...
大语言模型如何处理长文本？常用文本分割技术详解
为什么需要文本分割？ 引言：为什么需要文本分割？一、基础文本分割方法1. 按段落分割（Paragraph Splitting）2. 按句子分割（Sentence Splitting）二、高级文本分割策略3. 重叠分割（Sliding Window）4. 递归分割（Recursive Splitting）三、生产级工具推荐5. 使用LangChain的…...
[ICLR 2022]How Much Can CLIP Benefit Vision-and-Language Tasks?
论文网址：pdf 英文是纯手打的！论文原文的summarizing and paraphrasing。可能会出现难以避免的拼写错误和语法错误，若有发现欢迎评论指正！文章偏向于笔记，谨慎食用 目录 1. 心得 2. 论文逐段精读 2.1. Abstract 2…...
镜像里切换为普通用户
如果你登录远程虚拟机默认就是 root 用户，但你不希望用 root 权限运行 ns-3（这是对的，ns3 工具会拒绝 root），你可以按以下方法创建一个 非 root 用户账号 并切换到它运行 ns-3。 一次性解决方案：创建非 roo…...
Keil 中设置 STM32 Flash 和 RAM 地址详解
文章目录 Keil 中设置 STM32 Flash 和 RAM 地址详解一、Flash 和 RAM 配置界面（Target 选项卡）1. IROM1（用于配置 Flash）2. IRAM1（用于配置 RAM）二、链接器设置界面（Linker 选项卡）1. 勾选“Use Memory Layout from Target Dialog”2. 查看链接器参数（如果没有勾选上面…...
高危文件识别的常用算法：原理、应用与企业场景
高危文件识别的常用算法：原理、应用与企业场景 高危文件识别旨在检测可能导致安全威胁的文件，如包含恶意代码、敏感数据或欺诈内容的文档，在企业协同办公环境中（如Teams、Google Workspace）尤为重要。结合大模型技术&…...
vue3 定时器-定义全局方法 vue+ts
1.创建ts文件 路径：src/utils/timer.ts 完整代码： import { onUnmounted } from vuetype TimerCallback (...args: any[]) > voidexport function useGlobalTimer() {const timers: Map<number, NodeJS.Timeout> new Map()// 创建定时器con…...
【Zephyr 系列 10】实战项目：打造一个蓝牙传感器终端 + 网关系统（完整架构与全栈实现）
🧠关键词：Zephyr、BLE、终端、网关、广播、连接、传感器、数据采集、低功耗、系统集成 📌目标读者：希望基于 Zephyr 构建 BLE 系统架构、实现终端与网关协作、具备产品交付能力的开发者 📊篇幅字数：约 5200 字 ✨ 项目总览 在物联网实际项目中，**“终端 + 网关”**是…...
工业自动化时代的精准装配革新：迁移科技3D视觉系统如何重塑机器人定位装配
AI3D视觉的工业赋能者 迁移科技成立于2017年，作为行业领先的3D工业相机及视觉系统供应商，累计完成数亿元融资。其核心技术覆盖硬件设计、算法优化及软件集成，通过稳定、易用、高回报的AI3D视觉系统，为汽车、新能源、金属制造等行…...
CMake 从 GitHub 下载第三方库并使用
有时我们希望直接使用 GitHub 上的开源库，而不想手动下载、编译和安装。 可以利用 CMake 提供的 FetchContent 模块来实现自动下载、构建和链接第三方库。 FetchContent 命令官方文档✅ 示例代码 我们将以 fmt 这个流行的格式化库为例，演示如何： 使用 FetchContent 从 GitH…...