当前位置: 首页 > news >正文

FastDDS之DataSharing

目录

  • 原理说明
  • 限制条件
  • 配置
    • Data-Sharing delivery kind
    • Data-sharing domain identifiers
    • 最大domain identifiers数量
    • 共享内存目录
  • DataReader和DataWriter的history耦合
    • DataAck
    • 阻塞复用

本文详细记录Fast DDS中Data Sharing的实现原理和代码分析。

DataSharing的概念:FastDDS中在同一台机器内通过利用共享内存共享DataWriter和DataReader的history实现通信加速,这种方式避免了传输层中的任何开销,有效减少了数据在DataWriter和DataReader之间复制所带来的额外负担。

Fast DDS 使用DomainParticipant的 GuidPrefix_t 来识别运行在同一主机上的其他participant。如果两个participant的 GuidPrefix_t 的前四个字节相同,则认为它们运行在同一主机上。提供了 is_on_same_host_as() API 来检查这一条件。

使用Data-sharing并不能阻止数据在应用层和DataWriter或DataReader之间的拷贝,要避免这种形式需要使用zero-copy通信方式(TODO:)

尽管Data Sharing使用了共享内存,但是与共享内存不同的是,共享内存是一种完全符合传输规范的方式,这意味着使用共享内存传输时,被传输的数据必须从DataWriter history 拷贝到传输层再从传输层拷贝到DataReader中。使用Data-Sharing可以避免这类拷贝操作。

原理说明

当DataWriter创建后,Fast DDS会预先分配一个位于共享内存映射文件,大小为 max_samples+extra_samples大小的样本数的pool,当publish数据时,DataWriter从这个pool中取出一个sample并将其添加到它的history中,并通知DataReader哪个pool中的sample包含了新数据。然后DataReader访问相同的共享内存映射文件,就可以拿到由DataWriter发布的数据了。

限制条件

只有当以下条件满足时该特性才可以使用:

  • DataWriter和DataReader可以访问相同的共享内存
  • Topic有一个有界限的 TopicDataType(也就是说该数据类型有一个固定的大小限制),其成员函数 is_bounded() 返回 true
  • Topic没有keyed
  • DataWriter 使用PREALLOCATED_MEMORY_MODEPREALLOCATED_WITH_REALLOC_MEMORY_MODE.

还有一个限制,对于DataReader的HistoryQos。使用Data-sharing机制,DataWriter的history被共享给DataReaders,这意味着DataReaders上有效的HistoryQos的depth最多等于DataWriter的HistoryQos的depth。为避免混淆,将DataReaders的 history depth设置为小于等于DataWriter的 history depth。

配置

使用 DataSharingQosPolicy 配置DataWriter和DataReader。配置内容有四种:

Data-Sharing delivery kind

有三种模式

  • AUTO:默认值,如果DataWriter 和 DataReader符合上述的限制条件,data-sharing的传输机制会生效
  • ON:类似AUTO,但是如果条件不满足,entity的创建就会失败
  • OFF:不会启用Data-sharing

DataWriter和DataReader的兼容性:
《TODO https://fast-dds.docs.eprosima.com/en/latest/fastdds/transport/datasharing.html 6.5.3.1 图片》

Data-sharing domain identifiers

每个entity定义了一组identifiers用于标识它所属的domain(TODO:一组?)。只有当两个entity至少有一个共同的domain时它们之间才能够使用Data-sharing。
用户通过DataSharingQosPolicy来定义DataWriter或DataReader的domain。如果没有提供domain的identifiers,系统会自动创建一个,这种自动的data-sharing domain对于entity运行所在的机器将是唯一的。也就是说,所有在同一台机器上运行的entities,且用户没有配置特定用户的domains的情况下,都能够使用data-sharing传输(前提是满足其余的要求)。
在服务发现阶段,entities之间会交换它们的domain identifiers,并检查它们是否能够使用data-sharing来进行通信。
尽管data-sharing domain identifiers是一个64位的整数,但是用户自定义的identifiers被限制为16位的整数。这意味着系统内部可能处理更大的64位整数作为domain identifiers,然而用户在配置或指定domain identifiers时只能使用较小范围的16位整数。这样的设计可能是为了简化用户接口,同时也确保了domain identifiers的一致性和兼容性。

最大domain identifiers数量

在发现过程中,从远程实体预期接收到的域标识符的最大数量。如果远程实体定义(并发送)的域标识符数量超过了这个数值,那么发现过程将会失败。

默认情况下,标识符的数量是没有限制的。可以通过 max_domains() 函数来改变这个默认值。定义一个有限的数量允许在实体创建时预分配接收标识符列表所需的内存,从而避免之后的动态内存分配。需要注意的是,数值0意味着没有限制。

共享内存目录

如果指定了用户定义的目录用于共享内存文件,那么这个目录将被用来存储用于数据共享传输的共享内存映射文件。如果没有指定,则会使用当前系统配置的默认目录。
配置用户定义的目录在某些场景下可能是有用的:

  1. 选择一个启用了 Huge TLB(透明的大页)的文件系统来存放记忆映射文件。
  2. 允许挂载了相同容器的容器之间进行数据共享传输。

DataReader和DataWriter的history耦合

普通的transport传输,DataReader和DataWriter保持独立的history,每个都有自己的sample的拷贝。一旦sample通过传输被DataReader接收,DataWriter就可以自由地从其history中删除sample,而不影响DataReader。
使用data-sharing方式,DataReader直接访问由DataWriter创建的数据实例,这意味着DataReader和DataWriter的history中的samples都指向共享内存的同一对象。因此DataWriter和DataReader的history之间存在着很强的耦合。
这也意味着一种情况:如果DataWriter复用一个旧的sample发布新的数据,而不是创建一个新的sample,那么这个被更新的sample在共享内存中的内容旧变成了新的数据,DataReader就无法获取这个sample的原始数据,因为已经被覆盖了。
DataWriter如果从其history中移除一个sample,只要它没有被复用,那么DataReader仍然能够访问到这些旧的数据,但如果DataWriter使用同一sample发布了新数据,则旧数据会被新数据所替代,DataReader也就无法再访问到原先的数据了。

DataAck

使用data-sharing传输,sample 的ack在应用程序的DataReader第一次接收到sample时开始(通过 DataReader::read_next_sample(), DataReader::take_next_sample(),或其他方式)。一旦数据被应用程序接收,DataWriter就可以自由使用sample发布新的数据,DataReader会探测到当一个sample被重复使用时自动从它的history中移除。这也意味着如果尝试连续访问DataReader的相同的sample或许没有sample返回。

阻塞复用

使用KEEP_LAST_HISTORY_QOS 或者 BEST_EFFORT_RELIABILITY_QOS配置,DataWriter会从它的history中移除samples并添加新的,即使是没有收到DataReader的ack。有一种情况:如果发送的频率大于接收处理的频率,这会导致在每个smaple被处理前被重复使用。
为了避免这种情况,位于预先分配的pool中的samples不会被复用,除非它们收到了ack,比如它们至少被应用程序处理过一次。如果在pool中没有可复用的sample,DataWriter端的writer操作会被阻塞指导有一个可复用的,或max_blocking_time到达。
这种行为不会影响DataWriter的history。samples仍然会按照规则从history中删除,唯一受影响的是pool中samples的服用哦个。这意味着即使DataWrtier的history为空,但如果pool中的所有samples都没有被确认接收,writer操作仍然可能是被阻塞的。
可用通过使用extra_samples 来减少DataWriter在writer操作时被阻塞的可能性,这会使pool的分配的大小比history的大小多更多samples,从而使DataWriter有更多的机会获取free sample,同时DataReader仍然可以访问那些已经被从DataWriter的history中删除的sample。

相关文章:

FastDDS之DataSharing

目录 原理说明限制条件配置Data-Sharing delivery kindData-sharing domain identifiers最大domain identifiers数量共享内存目录 DataReader和DataWriter的history耦合DataAck阻塞复用 本文详细记录Fast DDS中Data Sharing的实现原理和代码分析。 DataSharing的概念&#xff1…...

计算机网络在线测试-概述

单项选择题 第1题 数据通信中,数据传输速率(比特率,bps)是指每秒钟发送的()。 二进制位数 (我的答案) 符号数 字节数 码元数 第2题 一座大楼内的一个计算机网络系统&#xf…...

【MySQL】数据库必考知识点:查询操作全面详解与深度解剖

前言:本节内容讲述基本查询, 基本查询要分为两篇文章进行讲解。 本篇文章主要讲解的是表内删除数据、查询结果进行插入、聚合统计、分组聚合统计。 如果想要学习对应知识的可以观看哦。 ps:本篇内容友友们只要会创建表了就可以看起来了哦!&am…...

鲸鱼机器人和乐高机器人的比较

鲸鱼机器人和乐高机器人各有其独特的优势和特点,家长在选择时可以根据孩子的年龄、兴趣、经济能力等因素进行综合考虑,选择最适合孩子的教育机器人产品。 优势 鲸鱼机器人 1)价格亲民:鲸鱼机器人的产品价格相对乐高更为亲民&…...

游戏引擎学习第15天

视频参考:https://www.bilibili.com/video/BV1mbUBY7E24 关于游戏中文件输入输出(IO)操作的讨论。主要分为两类: 只读资产的加载 这部分主要涉及游戏中用于展示和运行的只读资源,例如音乐、音效、美术资源(如 3D 模型和…...

详解模版类pair

目录 一、pair简介 二、 pair的创建 三、pair的赋值 四、pair的排序 (1)用sort默认排序 (2)用sort中的自定义排序进行排序 五、pair的交换操作 一、pair简介 pair是一个模版类,可以存储两个值的键值对.first以…...

AI驱动的桌面笔记应用Reor

网友 竹林风 说,已经成功的用 mxbai-embed-large 映射到 text-embedding-ada-002,并测试成功了。不愧是爱折腾的人,老苏还没时间试,因为又找到了另一个支持 AI 的桌面版笔记 Reor Reor 简介 什么是 Reor ? Reor 是一款由人工智…...

搜维尔科技:使用sensglove触觉反馈手套进行虚拟拆装操作

使用sensglove触觉反馈手套进行虚拟拆装操作 搜维尔科技:使用sensglove触觉反馈手套进行虚拟拆装操作...

深入理解电子邮件安全:SPF、DKIM 和 DMARC 完全指南

引言 在当今数字时代,电子邮件已经成为我们日常通信中不可或缺的一部分。然而,随之而来的安全问题也日益突出。邮件欺诈、钓鱼攻击和垃圾邮件等威胁不断增加,这促使了多种邮件安全验证机制的出现。本文将深入探讨三个最重要的邮件安全协议&a…...

【有啥问啥】复习一下什么是NMS(非极大值抑制)?

复习一下什么是NMS(非极大值抑制)? 什么是NMS? NMS(Non-Maximum Suppression)即非极大值抑制,是一种在计算机视觉领域,尤其是目标检测任务中广泛应用的后处理算法。其核心思想是抑…...

Java-异步方法@Async+自定义分布式锁注解Redission

如果你在使用 @Async 注解的异步方法中,使用了自定义的分布式锁注解(例如 @DistributedLock),并且锁到期后第二个请求并没有执行,这可能是由于以下几个原因导致的: 锁的超时时间设置不当:锁的超时时间可能设置得太短,导致锁在业务逻辑执行完成之前就已经自 动释放。…...

基本定时器---内/外部时钟中断

一、定时器的概念 定时器(TIM),可以对输入的时钟信号进行计数,并在计数值达到设定值的时候触发中断。 STM32的定时器系统有一个最为重要的结构是时基单元,它由一个16位计数器,预分频器,和自动重…...

实现了两种不同的图像处理和物体检测方法

这段代码实现了两种不同的图像处理和物体检测方法:一种是基于Canny边缘检测与轮廓分析的方法,另一种是使用TensorFlow加载预训练SSD(Single Shot Multibox Detector)模型进行物体检测。 1. Canny边缘检测与轮廓分析: …...

如何在MindMaster思维导图中制作PPT课件?

思维导图是一种利用色彩、图画、线条等图文并茂的形式,来帮助人们增强知识或者事件的记忆。因此,思维导图也被常用于教育领域,比如:教学课件、读书笔记、时间管理等等。那么,在MindMaster免费思维导图软件中&#xff0…...

ORIN NX 16G安装中文输入法

刷机版本为jetpack5.14.刷机之后预装了cuda、cudnn、opencv、tensorrt等,但是发现没有中文输入,所以记录一下安装流程。 jetson NX是arm64架构的,sougoupinyin只支持adm架构的,所以要选择安装Google pinyin 首先打开终端&#x…...

【金融风控项目-07】:业务规则挖掘案例

文章目录 1.规则挖掘简介2 规则挖掘案例2.1 案例背景2.2 规则挖掘流程2.3 特征衍生2.4 训练决策树模型2.5 利用结果划分分组 1.规则挖掘简介 两种常见的风险规避手段: AI模型规则 如何使用规则进行风控 **使用一系列逻辑判断(以往从职人员的经验)**对客户群体进行区…...

退款成功订阅消息点击后提示订单不存在

问题表现: 退款成功发送的小程序订阅消息点击进入后提示订单不存在。 修复方法: 1.打开文件app/services/message/notice/RoutineTemplateListService.php 2.找到方法sendOrderRefundSuccess 3.修改图中红圈内的链接地址 完整方法代码如下 /*** 订…...

实验一 顺序结构程序设计

《大学计算机﹣C语言版》实验报告 实验名称 实验一 顺序结构程序设计 实验目的 (1)掌握C语言中常量和变量的概念。 (2)掌握C语言中常见的数据类型。 (3)掌握C语言中变量的定义和赋值方法。 …...

Elasticsearch搜索流程及原理详解

Elasticsearch搜索流程及原理详解 1. Elasticsearch概述1.1 简介1.2 核心特性1.3 应用场景2. Elasticsearch搜索流程2.1 搜索请求的发起2.2 查询的执行2.3 结果的聚合与返回3. Elasticsearch原理详解3.1 倒排索引3.2 分布式架构3.3 写入流程3.4 读取流程4. 技术细节与操作流程4…...

芯片之殇——“零日漏洞”(文后附高通64款存在漏洞的芯片型号)

芯片之殇——“零日漏洞”(文后附高通64款存在漏洞的芯片型号) 本期是平台君和您分享的第113期内容 前一段时间,高通公司(Qualcomm)发布安全警告称,提供的60多款芯片潜在严重的“零日漏洞”,芯片安全再一次暴露在大众视野。 那什么是“零日漏洞”?平台君从网上找了一段…...

第19节 Node.js Express 框架

Express 是一个为Node.js设计的web开发框架,它基于nodejs平台。 Express 简介 Express是一个简洁而灵活的node.js Web应用框架, 提供了一系列强大特性帮助你创建各种Web应用,和丰富的HTTP工具。 使用Express可以快速地搭建一个完整功能的网站。 Expre…...

AtCoder 第409​场初级竞赛 A~E题解

A Conflict 【题目链接】 原题链接:A - Conflict 【考点】 枚举 【题目大意】 找到是否有两人都想要的物品。 【解析】 遍历两端字符串,只有在同时为 o 时输出 Yes 并结束程序,否则输出 No。 【难度】 GESP三级 【代码参考】 #i…...

1688商品列表API与其他数据源的对接思路

将1688商品列表API与其他数据源对接时,需结合业务场景设计数据流转链路,重点关注数据格式兼容性、接口调用频率控制及数据一致性维护。以下是具体对接思路及关键技术点: 一、核心对接场景与目标 商品数据同步 场景:将1688商品信息…...

【Web 进阶篇】优雅的接口设计:统一响应、全局异常处理与参数校验

系列回顾: 在上一篇中,我们成功地为应用集成了数据库,并使用 Spring Data JPA 实现了基本的 CRUD API。我们的应用现在能“记忆”数据了!但是,如果你仔细审视那些 API,会发现它们还很“粗糙”:有…...

AI编程--插件对比分析:CodeRider、GitHub Copilot及其他

AI编程插件对比分析:CodeRider、GitHub Copilot及其他 随着人工智能技术的快速发展,AI编程插件已成为提升开发者生产力的重要工具。CodeRider和GitHub Copilot作为市场上的领先者,分别以其独特的特性和生态系统吸引了大量开发者。本文将从功…...

爬虫基础学习day2

# 爬虫设计领域 工商:企查查、天眼查短视频:抖音、快手、西瓜 ---> 飞瓜电商:京东、淘宝、聚美优品、亚马逊 ---> 分析店铺经营决策标题、排名航空:抓取所有航空公司价格 ---> 去哪儿自媒体:采集自媒体数据进…...

Java面试专项一-准备篇

一、企业简历筛选规则 一般企业的简历筛选流程:首先由HR先筛选一部分简历后,在将简历给到对应的项目负责人后再进行下一步的操作。 HR如何筛选简历 例如:Boss直聘(招聘方平台) 直接按照条件进行筛选 例如&#xff1a…...

AirSim/Cosys-AirSim 游戏开发(四)外部固定位置监控相机

这个博客介绍了如何通过 settings.json 文件添加一个无人机外的 固定位置监控相机,因为在使用过程中发现 Airsim 对外部监控相机的描述模糊,而 Cosys-Airsim 在官方文档中没有提供外部监控相机设置,最后在源码示例中找到了,所以感…...

【从零学习JVM|第三篇】类的生命周期(高频面试题)

前言: 在Java编程中,类的生命周期是指类从被加载到内存中开始,到被卸载出内存为止的整个过程。了解类的生命周期对于理解Java程序的运行机制以及性能优化非常重要。本文会深入探寻类的生命周期,让读者对此有深刻印象。 目录 ​…...

Git常用命令完全指南:从入门到精通

Git常用命令完全指南:从入门到精通 一、基础配置命令 1. 用户信息配置 # 设置全局用户名 git config --global user.name "你的名字"# 设置全局邮箱 git config --global user.email "你的邮箱example.com"# 查看所有配置 git config --list…...