关于机器人状态估计(12)-VIO/VSLAM的稀疏与稠密
VIO三相性与世界观室内ALL IN ONE 首先以此链接先对近期工作的视频做个正经的引流,完成得这么好的效果,仅仅是因为知乎限流1分钟以内的视频,导致整个浏览量不到300,让人非常不爽。
这套系统已经完成了,很快将正式发布,室外180米实测平移偏差也控制在了0.6%左右,最后1米上下徘徊,旋转无偏。标题其实和今天的文章关系不大,主要是梳理下稠密和稀疏的重点落地与应用。
先列一下最近的一些工作背景上的思考:
在接下来的 10 年,机器人融合融态感知即将迎来剧烈的变化,尤其是以视觉为主的融合融态感知,随着成本的降低与性能的提升,将广泛应用于导航面与操作面,为社会带来深远的变化。想象一台能为老年人完成 30+种养老服务任务并进行交流互动的 robots,在 5-10 年这个阶段不再是科幻。接下来 1-5 年内单任务/少任务/集群式机器人也将在我们的工业面和社会面广泛的被使用,不仅仅是特斯拉,DJI等。
但是我国在机器人领域其实与北美差距仍然很大,看似供应链强大,但大量机器人仍然 停留在中低端领域,先不提具体操作和任务面(离全面通过机器人内感知系统完成仍然有很大的距离),就以最基本的导航和定位面(SLAM)仍然高度依赖线扫雷达与固态雷达。以 SKYDIO 为例,DJI 作为龙头多年早已构筑了核心优势市场,但是 SKYDIO 仍然通过与 Nividia 与 CUDA 生态的深绑定,北美优秀高校专业人才,通过强大的 VIO 与其机体世界观构建技术开始了对 我国巨头“弯道”超车之旅。
SLAM 面首先应该极致的完成,这样各种机体才能真正进入任务面,进入自感知任务面后,我们才有机会真正在边缘端大量完成自感知多任务 Robots 系统。而这一块,将是未来真正的蓝海,同时机会属于中国。
目前我们的短板众多,首先就是通核 SOC 整体设计水准的低下:
1. 高端通核 SOC 设计水准远低于 Nividia 与 Intel,缺乏生态,国内厂家普遍依赖 CUDA,高端通核在 V8.2 框架上的几家优秀厂家都有同类问题,部分普通厂家开始深卷 NPU 等整型矩阵乘法卷积器,天花板有限。
2. 中端通核 SOC 普遍设计阉割或存在VI/VO短板,CPU/NPU/GPU/DSP 等均存在相当的设计缺陷, 仅适用于简单落地及应用。
3. 低端 SOC/MCU 普遍缺乏 DSP 与 FPU 设计,离 STM32 等 MCU 中高端设计的距离较大, 系统整体耦合程度低效。
其次程序员平均水准虽然不错,但是顶尖人才匮乏,普遍擅长面向对象,面向函数开发, 底层开发设计能力不足,ECS开发人才稀缺并集中在游戏公司(如米哈游)。
只有软件/硬件/算法能力需全部拉通,我国的自感知多任务机器人才会得到真正蓬勃和广泛 的发展。
这也就是我们这18个月以来工作的意义和目的,接下来聊聊稀疏与稠密:
稀疏篇:

1.稀疏最大的问题是没有好的世界观,所有的作业高度依赖重定位。
2.稀疏源自特征点法,稀疏的存在和能力的脆弱导致大量其他工作需要被耦合,如IMU紧耦合,轮速计耦合。
3.稀疏如果落具体作业面,还需要增加更多的内感传感器,如单点雷达,如大面阵i-TOF。
4.稀疏在常态化运作中还需要结合NPU或松耦合的深度相机的能力去除动态目标物,用起来非常麻烦。
5.稀疏并非一无是处,稀疏VIO能够很好地控制和管理三相性:开销/鲁棒/精度,在外界干扰有限的情况下可以很好地工作,在特定场景下可以通过特征点向图像的逆反馈反手进入NPU实现一系列有意思的识别和行为判断。
6.稀疏可以进行收敛,成为半稠密/稠密系统的回环模块,以空间重定位辅助半稠密/稠密系统的运行。
7.无论ORBSLAM还是VINS,均可以以稀疏为骨干,构建稠密,但是三相性被破坏,处理难以实时。
稠密篇:
1.真正的稠密开销极高,三相性的第一条就不被满足。通常以离线方式运行,也有做得比较好的通过Local和Global实现,全局系统上主机的处理能力极强。图例是以稀疏构建稠密(来源于CSDN博主Darren_pty)

2.还有一种稠密是先以强力的装置,如激光雷达构建先验,再通过稀疏去匹配,在固定场景作业中,这是一种非常优秀的做法,点云的数据结构与存储调用的处理是一个难点。
3.第三种稠密,或者叫半稠密/半稀疏都可以,就是如下图或开始的链接中的效果了

这个实现常见的来源有DSO/ORBSLAM/LSD各种暴力深化,实现过程非常复杂就不多bb了,为了保持鲁棒性往往耦合IMU,这一类的方法具备几个巨大的优势:
(1)首先相对激光雷达,系统有非常强劲的视觉纹理的连贯处理能力,尤其是对高度类似的地表信息,可以建立罕见的物体或地表爬纹能力,远超激光雷达和深度相机。在草地,公里,石板甚至是有光的综合管廊(或增加补光,雪地或光滑地表失效),均存在着精确位姿定位的可能性,这是其他所有传感器都无法达到和实现的能力。按照目前的开发与实验经验,当单帧处理的点数量>1500个时,此类能力被很好的建立,数量压倒质量。
(2)其次,此类半稠密点云本身就构建了和激光雷达类似的点云形态VIO三相性与世界观室内ALL IN ONE,可以直接用于规划处理,拥有实时的世界观,整个规划工作变得更加类似自动驾驶,重定位的作用权重急剧下降。
(3)此类方法能够更好地通过各类几何方法构建更稠密的建图,同时也没有丢失深度信息向视觉信息的逆反馈能力。
(4)缺点是开销仍然很高,有DSP和FPU依赖。
相关文章:
关于机器人状态估计(12)-VIO/VSLAM的稀疏与稠密
VIO三相性与世界观室内ALL IN ONE 首先以此链接先对近期工作的视频做个正经的引流,完成得这么好的效果,仅仅是因为知乎限流1分钟以内的视频,导致整个浏览量不到300,让人非常不爽。 这套系统已经完成了,很快将正式发布…...
Python每日一练(20230220)
目录 1. 存在重复元素 II 2. 按要求实现程序功能 3. 分割链表 附录 链表 1. 存在重复元素 II 给定一个整数数组和一个整数 k,判断数组中是否存在两个不同的索引 i 和 j,使得 nums [i] nums [j],并且 i 和 j 的差的 绝对值 至多为 k。 …...
技术总监的“技术提升”
技术负责人的能力要求是什么?成本中心技术负责人最重要的工作是让其他CXO理解、认可并且支持技术部的工作,否则作为成本部门,在公司的地位会很低。技术创新光是让其他部门理解还不行,技术还需要创造价值,所以需要做技术创新。上面…...
kettle安装部署_简单认识_Spoon勺子界面---大数据之kettle工作笔记002
然后我们来看一下这个kettle的安装,很简单,下载解压就可以了 上面的地址是官网很烂 下面的地址好一些 这个是官网可以看到很慢,很不友好 这个是下面那个地址,可以看到 最新的是9.0了,一般都用 一般都用8.2 这里下载这个就可以了 下载以后可以看到有个pdi...
第三章 Kafka生产问题总结及性能优化实践
第三章 Kafka生产问题总结及性能优化实践 1、线上环境规划 JVM参数设置 kafka 是 scala 语言开发,运行在 JVM 上,需要对 JVM 参数合理设置,参看 JVM 调优专题 修改 bin/kafka-start-server.sh 中的 JVM 设置,假设机器是 32G 内…...
Comparable和Comparator的区别
一、概述 Comparable和Comparator都是用来实现比较的,一般用于集合中元素的比较 基本包装类型,Integer、Long以及String都实现了Comparable接口,该接口的排序逻辑必须写在比较对象中,所以又叫自然排序 我们一般集合排序使用的Col…...
全15万字丨PyTorch 深度学习实践、基础知识体系全集;忘记时,请时常回顾。
✨ ✨我们抬头便看到星光,星星却穿越了万年. ✨ ✨ 🎯作者主页:追光者♂ 🌸个人简介:在读计算机专业硕士研究生、CSDN-人工智能领域新星创作者🏆、2022年度博客之星人工智能领域TOP4🌟、阿里云…...
简洁易用的记账小程序——微点记账
背景 由于每个月的信用卡账单太过吓人,记性也不是特别的好,加上微信支付宝账单中有些明细不是很明确。比如在京东花销的明细不会记录用户购买了什么,只会记录那个通道支出的。所以,才会有了想自己开发一款记账小程序,…...
Windows平台上达梦数据库的ODBC安装与配置
文章目录概述安装包准备安装ODBC驱动配置ODBC数据源概述 最近很多公司都在响应信创,需要切换到国产数据库,然而很多数据库的一些基础组件的使用都没有一个很明确的官方文档。为了避免更多的人踩坑,本人将踩过的坑总结成博文,分享…...
哈希表的介绍
1.哈希表的介绍 在哈希表中插入、删除或查找一个元素都只需要O(1)的时间,因此经常被用来优化时间效率。 在Java中,哈希表有两个对应的类型,即HashSet和HashMap。 2.HashSet的应用 若每个元素都只有一个值,则用HashSet…...
spring cloud gateway 实现redis动态路由及自动项目路由上报
前言 spring cloud gateway默认为内存存储策略,通过配置文件加载的方式生成路由定义信息 可以看到,RouteDefinitionRepository继承了两个父接口,分别为RouteDefinitionLocator和RouteDefinitionWriter,RouteDefinitionLocator定…...
c++函数对象(仿函数)、谓词、内建函数对象
1、函数对象 1.1 概念 重载函数调用操作符的类,这个类的对象就是函数对象,在使用这个函数对象对应使用重载的()符号时,行为类似于函数调用,因此这个函数也叫仿函数。 注意:函数对象࿰…...
物联网对供应链管理的影响
物联网对于许多行业来说都是一项革命性技术,其应用领域涉及零售、交通、金融、医疗保健和能源等行业。物联网在供应链等流程中已经展示了其深度的潜力。管理、预测和监督应用程序有助于车队运输经理提高配送的运营效率,并增加决策的准确性。如今…...
c++ 那些事 笔记
GitHub - Light-City/CPlusPlusThings: C那些事 1. ① extern extern关键字,C语言extern关键字用法详解 如果全局变量不在文件的开头定义,其有效的作用范围只限于其定义处到文件结束。如果在定义点之前的函数想引用该全局变量,则应该在…...
心跳机制Redis
进入命令传播阶段候,master与slave间需要进行信息交换,使用心跳机制进行维护,实现双方连接保持在线 master心跳: 指令:PING 周期:由repl-ping-slave-period决定,默认10秒 作用&#…...
蓝桥杯算法训练合集十七 1.数字反转2.试题39713.矮人采金子4.筛法5.机器指令
目录 1.数字反转 2.试题3971 3.矮人采金子 4.筛法 5.机器指令 1.数字反转 问题描述 给定一个整数,请将该数各个位上数字反转得到一个新数。新数也应满足整数的常见形式,即除非给定的原数为零,否则反转后得到的新数的最高位数字不应为零&…...
第一章 初识 Spring Security
第一章 初识 Spring Security 1、权限管理 权限管理 基本上涉及到用户参与的系统都要进行权限管理,权限管理属于系统安全的范畴,权限管理实现了对用户访问系统的控制,按照安全规则或者安全策略控制用户可以访问而且只能访问自己被授权的资…...
2023-02-20 关于回朔的思考
摘要: 考虑命运来回动荡交织,一些新的规划在不断的扩充, 而一些历史则开始陷入回朔。 有必要对历史和过往做一些规划和思考。 需要注意在这个阶段, 第一优先级是在反刍中将其最大化。 理论层: 一. 数据库的基础理论 ANSI SQL到词法解析和语法解析mysql的SQL层对…...
推荐系统[八]算法实践总结V1:淘宝逛逛and阿里飞猪个性化推荐:召回算法实践总结【冷启动召回、复购召回、用户行为召回等算法实战】
0.前言:召回排序流程策略算法简介 推荐可分为以下四个流程,分别是召回、粗排、精排以及重排: 召回是源头,在某种意义上决定着整个推荐的天花板;粗排是初筛,一般不会上复杂模型;精排是整个推荐环节的重中之重,在特征和模型上都会做的比较复杂;重排,一般是做打散或满足…...
适合初学者的超详细实用调试技巧(下)
我们日常写代码的时候,常常会遇到bug的情况,这个时候像我这样的初学者就会像无头苍蝇一样这里改改那里删删,调试的重要性也就显现出来,这篇文章接着上文来讲解。 上文地址:(8条消息) 适合初学者的超详细实用调试技巧&…...
【WiFi帧结构】
文章目录 帧结构MAC头部管理帧 帧结构 Wi-Fi的帧分为三部分组成:MAC头部frame bodyFCS,其中MAC是固定格式的,frame body是可变长度。 MAC头部有frame control,duration,address1,address2,addre…...
2024年赣州旅游投资集团社会招聘笔试真
2024年赣州旅游投资集团社会招聘笔试真 题 ( 满 分 1 0 0 分 时 间 1 2 0 分 钟 ) 一、单选题(每题只有一个正确答案,答错、不答或多答均不得分) 1.纪要的特点不包括()。 A.概括重点 B.指导传达 C. 客观纪实 D.有言必录 【答案】: D 2.1864年,()预言了电磁波的存在,并指出…...
工程地质软件市场:发展现状、趋势与策略建议
一、引言 在工程建设领域,准确把握地质条件是确保项目顺利推进和安全运营的关键。工程地质软件作为处理、分析、模拟和展示工程地质数据的重要工具,正发挥着日益重要的作用。它凭借强大的数据处理能力、三维建模功能、空间分析工具和可视化展示手段&…...
vue3 字体颜色设置的多种方式
在Vue 3中设置字体颜色可以通过多种方式实现,这取决于你是想在组件内部直接设置,还是在CSS/SCSS/LESS等样式文件中定义。以下是几种常见的方法: 1. 内联样式 你可以直接在模板中使用style绑定来设置字体颜色。 <template><div :s…...
将对透视变换后的图像使用Otsu进行阈值化,来分离黑色和白色像素。这句话中的Otsu是什么意思?
Otsu 是一种自动阈值化方法,用于将图像分割为前景和背景。它通过最小化图像的类内方差或等价地最大化类间方差来选择最佳阈值。这种方法特别适用于图像的二值化处理,能够自动确定一个阈值,将图像中的像素分为黑色和白色两类。 Otsu 方法的原…...
【论文笔记】若干矿井粉尘检测算法概述
总的来说,传统机器学习、传统机器学习与深度学习的结合、LSTM等算法所需要的数据集来源于矿井传感器测量的粉尘浓度,通过建立回归模型来预测未来矿井的粉尘浓度。传统机器学习算法性能易受数据中极端值的影响。YOLO等计算机视觉算法所需要的数据集来源于…...
【HarmonyOS 5 开发速记】如何获取用户信息(头像/昵称/手机号)
1.获取 authorizationCode: 2.利用 authorizationCode 获取 accessToken:文档中心 3.获取手机:文档中心 4.获取昵称头像:文档中心 首先创建 request 若要获取手机号,scope必填 phone,permissions 必填 …...
均衡后的SNRSINR
本文主要摘自参考文献中的前两篇,相关文献中经常会出现MIMO检测后的SINR不过一直没有找到相关数学推到过程,其中文献[1]中给出了相关原理在此仅做记录。 1. 系统模型 复信道模型 n t n_t nt 根发送天线, n r n_r nr 根接收天线的 MIMO 系…...
Web 架构之 CDN 加速原理与落地实践
文章目录 一、思维导图二、正文内容(一)CDN 基础概念1. 定义2. 组成部分 (二)CDN 加速原理1. 请求路由2. 内容缓存3. 内容更新 (三)CDN 落地实践1. 选择 CDN 服务商2. 配置 CDN3. 集成到 Web 架构 …...
让回归模型不再被异常值“带跑偏“,MSE和Cauchy损失函数在噪声数据环境下的实战对比
在机器学习的回归分析中,损失函数的选择对模型性能具有决定性影响。均方误差(MSE)作为经典的损失函数,在处理干净数据时表现优异,但在面对包含异常值的噪声数据时,其对大误差的二次惩罚机制往往导致模型参数…...
