日常知识点之遇到问题结构体按位构造协议时和期望不一致,研究记录一下
遇到一个问题,在做业务的时候,涉及到协议相关,按位进行设计,用结构体来模拟协议时,发现内存存储和实际目的不一致,知道是大小端以及计算机底层存储逻辑相关,所以研究了一下。
1:简单问题描述。
如下结构,是按照用户协议解析出来的结构:
按照数据协议,总共6个字节,期望按占位3,1,1,1,5,5 ,2,20,10进行解析,这里期望的是内存中存储的值是按照结构进行存储和展示的。
//我本来构造这样对应的结构。
#pragma pack(1)
typedef struct _trans_header_t
{unsigned short version:3; unsigned short type:1; unsigned short vice_type:1; unsigned short apid_tid:1; unsigned short apid_pid:5; unsigned short apid_pcat:5; unsigned int group_type:2; unsigned int trans_num:20; unsigned int trans_user_data_len:10;
}TRANS_HEADER_T;
#pragma pack()
如上,对应期望的协议,我定义了对应的结构,但是赋值时发现对不上。 (这里肯定是结构体位和对应大小端问题导致。)
2:分析一下这里位和大小端的存储。
结构体设置按字节对齐(默认或者自己设置,小端模式,按位处理实际上是从低位开始)
int main(int argc, char *argv[])
{TRANS_HEADER_T header;header.version = 1;header.type = 0;header.vice_type = 1;header.apid_tid = 0;header.apid_pid = 3;header.apid_pcat = 3;header.group_type=3;header.trans_num = 7;header.trans_user_data_len = 1;
/********************
1101 0001 11 0 1 0 001
0001 1000 00011 000
0001 1111 000111 11
0000 0000 00000000
0100 0000 01 000000
0000 0000 00000000
*********************/for(unsigned int i=0; i<sizeof(header); i++){int num = *((unsigned char *)&header +i);qDebug() <<num<<"===>"<< QString::number(num, 2) ;}unsigned short *UTest = (unsigned short *)&header;qDebug()<<"data = "<<(*UTest); //6353 0001 1000 1101 0001unsigned int *UTest1 = (unsigned int *)((unsigned char *)&header +2);qDebug()<<"data = "<<(*UTest1); //4194335 0000 0000 0100 0000 0000 0000 0001 1111return 0;
}
//分析一下,因为按1Byte进行对齐,所以每次以1Byte进行处理,从低位开始按位赋值,当1byte不够用时,就取下一个byte,这是低位进行赋值。
//按每1byte,按照结构体定义的结构,依次赋值。
//然后大小端的问题,实际上是转成对应的unsigned short和unsigned int时取值时生效的。
3:疑问以及总结
疑问:本想按照定义的结构给结构体赋值,发现赋值后期望结果和预期不一致。
总结:其实核心还是按位处理,按位处理时是从低位往高位写。
处理:
方案1:我直接抛弃这种方案,采用字节|的方式。
(这里注意数值的写入是以内存中存的值为准,按值进行设置的数据,需要按内存进行大小端处理)
//short +unsigned intunsigned short version_apid = 0;unsigned int flag_and_len = 0;// 000 1 0 010 001 9+i 前6位固定 0001 00 激光载荷10001 文件 9+iif(!m_is_reTrans){version_apid |= 0x1220; // 0001 0010}else{version_apid |= 0x1620; // 0001 0110}version_apid |= 9+i;//分组标识和对应的数据长度flag_and_len |= 0xC0000000;flag_and_len |= arr.size()-1;dst_arr.resize(8+arr.size());dst_arr.fill(0);version_apid = short_host_to_network(version_apid);flag_and_len = int_host_to_network(flag_and_len);bool IsBigEndian()
{short a = 0x1234;char b = *(char*)&a;if (0x12 == b) //高位存储在低地址处 是大端{return true;}return false; //否则 高位存储在高地址位 小端模式
}unsigned int int_host_to_network(unsigned int number)
{bool flag = IsBigEndian();if (flag) //大端模式 不用处理{return number;}unsigned int data = number;unsigned char* abyte0 = (unsigned char*)&data;// 小端模式if (!flag) //如果电脑是小端模式 需要处理成大端模式{abyte0[0] = (unsigned char)((0xff000000 & number) >> 24);abyte0[1] = (unsigned char)((0x00ff0000 & number) >> 16);abyte0[2] = (unsigned char)((0x0000ff00 & number) >> 8);abyte0[3] = (unsigned char)(0x000000ff & number);}return data;
}unsigned short short_host_to_network(unsigned short number)
{bool flag = IsBigEndian();if (flag) //大端模式 不用处理{return number;}unsigned short data = number;unsigned char* abyte0 = (unsigned char*)&data;// 小端模式 //需要进行处理if (!flag){abyte0[0] = (unsigned char)((0xff00 & number) >> 8);abyte0[1] = (unsigned char)(0x00ff & number);}return data;
}
方案二:
按照结构体的思路,对结构体进行处理使其符合。 (一般协议设计以8位为准(这种容易处理,结构体定义时和协议反转就好),这里比较复杂,用到16位,32位,思考测试有没有可用方案。)
如果是大端,理论上按协议定义结构体是没问题的,从高位往低位,位依次存储(未验证)
如果是小端,按位存储,实际上是从低位往高位,比如1byte从后往前写。
===》如果结构体协议位刚好凑够8位,则对结构体进行反转即可。
===》如果类似如下的结构,大端模式理论直接赋值可以,小端模式复杂化,没想到对应方案。
//如果位拼接刚好满足1byte 8位,则以1byte进行结构体反转能适配到协议吧。
//这里位刚好凑到16位,32位,需要根据大小端和结构体做适配吧。
//如果是大端,理论上按协议定义结构体是没问题的,从高位往低位,位依次存储(未验证)
//如果是小端,需要自己处理,这里能想到的是,对结构体进行适配,如下,赋值后进行大小端转换是否可行?
// 按位存储是从低位往高位存储,如下对按照协议,这样赋值,测试后发现 也是不合理的
#pragma pack(1)
typedef struct _trans_header_t
{unsigned short apid_pcat:5; //源包的名称unsigned short apid_pid:5; //产生源包的设备 unsigned short apid_tid:1; //重传标志 默认为0unsigned short vice_type:1; //副导头 0bunsigned short type:1; //1B 遥控源包unsigned short version:3; //000Bunsigned int trans_user_data_len:10;unsigned int trans_num:20; //对相同apid进行计数 初始值为0 如果源包文件小于875字节 填0unsigned int group_type:2; //分组标识 固定11b
}TRANS_HEADER_T;
#pragma pack()
总结:
如果是小端,结构体处理时是从低位往高位依次存储,从后往前。
如果是大端,结构体处理时时从高位往低位依次存储,按位从前往后。
在用结构体处理协议时,需要注意协议构造和处理的两端对应即可,特定的不满足1byte或者其倍数的协议,按位处理时要注意写入位置。
相关文章:
日常知识点之遇到问题结构体按位构造协议时和期望不一致,研究记录一下
遇到一个问题,在做业务的时候,涉及到协议相关,按位进行设计,用结构体来模拟协议时,发现内存存储和实际目的不一致,知道是大小端以及计算机底层存储逻辑相关,所以研究了一下。 1:简单…...
spring mvc 文件下载
在web中下载的方式大多基于servlet,在web.xml中配置下载路径,这里再介绍json(转成base64字符串)和blob的使用方式 servlet WEB-INF/web.xml <!--url映射--> <servlet-mapping><servlet-name>DowloadServlet</servlet-name>&l…...
Qt WebEngine基于WebEngineScript注入js脚本
在之前的文章中,我们介绍了Qt WebEngine注入js的用法,及runJavaScript()的用法,该方法主要是用在页面加载完成后,为了和网页做一些交互时使用。有时候需要监听网页加载完成的一些状态或信息,则需要网页加载前注入js来实…...
案例分享-国外UI设计界面赏析
国外UI设计倾向于简洁的布局和清晰的排版,减少视觉干扰,提升用户体验。通过合理的色彩搭配和图标设计,营造舒适愉悦的使用氛围。 设计师不拘泥于传统框架,勇于尝试新元素和理念,使界面独特有趣。同时,强调以…...
用PyTorch 从零开始构建 BitNet 1.58bit
我们手动实现BitNet的编写,并进行的一系列小实验证实,看看1.58bit 模型是否与全精度的大型语言模型相媲美! 什么是量化以及为什么需要它? 量化是用更少的比特数表示浮点数的过程。当两个数字使用不同的比特数进行量化时…...
信创安全 | 新一代内网安全方案—零信任沙盒
在当今数字化时代,访问安全和数据安全成为企业面临的重要挑战。传统的边界防御已经无法满足日益复杂的内网办公环境,层出不穷的攻击手段已经让市场单一的防御手段黔驴技穷。当企业面临越来越复杂的网络威胁和数据泄密风险时,更需要一种综合的…...
Redis的回收策略(淘汰策略)
volatile-lru :从已设置过期时间的数据集( server.db[i].expires )中挑选最近最少使用的数据淘汰 volatile-ttl : 从已设置过期时间的数据集( server.db[i].expires ) 中挑选将要过期的数据淘汰 volatile…...
Electron-builder 打包
项目比较简单,仅使用了 Electron 原生js 安装 electron-builder npm install electron-builder --dev配置 package.json 中的打包命令 {"script":{// ..."dev": "electron .","pack": "electron-builder"} }添…...
笔试练习day3
目录 BC149 简写单词题目解析代码 dd爱框框题目解析解析代码方法一暴力解法方法二同向双指针(滑动窗口) 除2!题目解析解法模拟贪心堆 感谢各位大佬对我的支持,如果我的文章对你有用,欢迎点击以下链接 🐒🐒🐒 个人主页 🥸…...
企业想要将大模型技术应用到企业管理中需具备什么条件?
#企业 #企业管理 #大模型 企业想要将大模型技术应用到企业管理中,需要考虑以下几个关键条件: 1.明确的需求定位:企业应首先诊断自身的业务场景、数据、算法、基础设施预算以及战略等能力,明确大模型能够为企业带来的具体赋…...
go 事件机制(观察者设计模式)
背景: 公司目前有个业务,收到数据后,要分发给所有的客户端或者是业务模块,类似消息通知这样的需求,自然而然就想到了事件,观察者比较简单就自己实现以下,确保最小功能使用支持即可,其…...
RISC-V竞赛|第二届 RISC-V 软件移植及优化锦标赛报名正式开始!
目录 赛事背景 赛道方向 适配夺旗赛 优化竞速赛 比赛赛题(总奖金池8万元!) 🔥竞速赛 - OceanBase 移植与优化 比赛赛程(暂定) 赛事说明 「赛事背景」 为了推动 RISC-V 软件生态更快地发展࿰…...
【VTK】ubuntu手动编译VTK9.3 Generating qmltypes file 失败
环境 硬件:Jetson Xavier NX 套件 系统:Ubuntu 20.04 软件 :QT5.15.6 解决 0、问题 最近在Jetson Xavier NX 套件上编译VTK库,因为想要配合QQuick使用,所以cmake配置时勾选了VTK_MODULE_ENABLE_VTK_GUISupportQtQu…...
学习java的日子 Day64 学生管理系统 web2.0 web版本
MVC设计模式 概念 - 代码的分层 MVC:项目分层的思想 字母表示层理解MModle模型层业务的具体实现VView视图层展示数据CController控制器层控制业务流程(跳转) 1.细化理解层数 Controller:控制器层,用于存放Servlet&…...
【第14章】Spring Cloud之Gateway路由断言(IP黑名单)
文章目录 前言一、内置路由断言1. 案例(Weight)2. 更多断言 二、自定义路由断言1. 黑名单断言2. 全局异常处理3. 应用配置4. 单元测试 总结 前言 Spring Cloud Gateway可以让我们根据请求内容精确匹配到对应路由服务,官方已经内置了很多路由断言,我们也…...
3、pnpm yarn npm
项目里实际上就只有这些依赖 node module 里却有很多的包 原因: 比如说vue,vue内部有依赖了其余的包。工具又依赖了别的依赖 造成的问题:我可以直接去用这个包,但是这个包在package.json中却没有看到-----幽灵依赖 那如果说别…...
❄️5. Kubernetes核心资源之名称空间和Pod实战
**什么是名称空间Namespace: ** Namespace是k8s系统中的一种非常重要资源,它的主要作用是用来实现多套环境的资源隔离或者多用户的资源隔离。默认情况下,k8s集群中的所有的Pod都是可以相互访问的。但是在实际中,可能不想让两个Pod之间进行互…...
锂电池充电板电路设计
写这篇文章的目的主要是个人经验的总结,希望能给开发者们提供一种锂电池充电电路以及电源显示的电路思路。接下来从以下几个方面讲述电路。 设计这款电路的初衷是想用一块硬币大小的锂电池作为供电电源(3.5V-4.2V),降压供给3.3V电…...
工业互联网产教融合实训基地解决方案
一、引言 随着“中国制造2025”战略的深入实施与全球工业4.0浪潮的兴起,工业互联网作为新一代信息技术与制造业深度融合的产物,正引领着制造业向智能化、网络化、服务化转型。为培养适应未来工业发展需求的高素质技术技能人才,构建工业互联网…...
高效批量提取PPT幻灯片中图片的方法
处理包含大量图片的PPT(PowerPoint)幻灯片已成为许多专业人士的日常任务之一。然而,手动从每张幻灯片中逐一提取图片不仅耗时耗力,还容易出错。为了提升工作效率,减少重复劳动,探索并实现一种高效批量提取P…...
谷歌浏览器插件
项目中有时候会用到插件 sync-cookie-extension1.0.0:开发环境同步测试 cookie 至 localhost,便于本地请求服务携带 cookie 参考地址:https://juejin.cn/post/7139354571712757767 里面有源码下载下来,加在到扩展即可使用FeHelp…...
C++初阶-list的底层
目录 1.std::list实现的所有代码 2.list的简单介绍 2.1实现list的类 2.2_list_iterator的实现 2.2.1_list_iterator实现的原因和好处 2.2.2_list_iterator实现 2.3_list_node的实现 2.3.1. 避免递归的模板依赖 2.3.2. 内存布局一致性 2.3.3. 类型安全的替代方案 2.3.…...
FFmpeg 低延迟同屏方案
引言 在实时互动需求激增的当下,无论是在线教育中的师生同屏演示、远程办公的屏幕共享协作,还是游戏直播的画面实时传输,低延迟同屏已成为保障用户体验的核心指标。FFmpeg 作为一款功能强大的多媒体框架,凭借其灵活的编解码、数据…...
java 实现excel文件转pdf | 无水印 | 无限制
文章目录 目录 文章目录 前言 1.项目远程仓库配置 2.pom文件引入相关依赖 3.代码破解 二、Excel转PDF 1.代码实现 2.Aspose.License.xml 授权文件 总结 前言 java处理excel转pdf一直没找到什么好用的免费jar包工具,自己手写的难度,恐怕高级程序员花费一年的事件,也…...
UE5 学习系列(三)创建和移动物体
这篇博客是该系列的第三篇,是在之前两篇博客的基础上展开,主要介绍如何在操作界面中创建和拖动物体,这篇博客跟随的视频链接如下: B 站视频:s03-创建和移动物体 如果你不打算开之前的博客并且对UE5 比较熟的话按照以…...
1.3 VSCode安装与环境配置
进入网址Visual Studio Code - Code Editing. Redefined下载.deb文件,然后打开终端,进入下载文件夹,键入命令 sudo dpkg -i code_1.100.3-1748872405_amd64.deb 在终端键入命令code即启动vscode 需要安装插件列表 1.Chinese简化 2.ros …...
基础测试工具使用经验
背景 vtune,perf, nsight system等基础测试工具,都是用过的,但是没有记录,都逐渐忘了。所以写这篇博客总结记录一下,只要以后发现新的用法,就记得来编辑补充一下 perf 比较基础的用法: 先改这…...
OkHttp 中实现断点续传 demo
在 OkHttp 中实现断点续传主要通过以下步骤完成,核心是利用 HTTP 协议的 Range 请求头指定下载范围: 实现原理 Range 请求头:向服务器请求文件的特定字节范围(如 Range: bytes1024-) 本地文件记录:保存已…...
鸿蒙中用HarmonyOS SDK应用服务 HarmonyOS5开发一个生活电费的缴纳和查询小程序
一、项目初始化与配置 1. 创建项目 ohpm init harmony/utility-payment-app 2. 配置权限 // module.json5 {"requestPermissions": [{"name": "ohos.permission.INTERNET"},{"name": "ohos.permission.GET_NETWORK_INFO"…...
相机Camera日志分析之三十一:高通Camx HAL十种流程基础分析关键字汇总(后续持续更新中)
【关注我,后续持续新增专题博文,谢谢!!!】 上一篇我们讲了:有对最普通的场景进行各个日志注释讲解,但相机场景太多,日志差异也巨大。后面将展示各种场景下的日志。 通过notepad++打开场景下的日志,通过下列分类关键字搜索,即可清晰的分析不同场景的相机运行流程差异…...
