当前位置: 首页 > news >正文

序列化与反序列化的本质

1. 将对象存储到本地

假如有一个student类,我们定义了好几个对象,想要把这些对象存储下来,该怎么办呢

from typing import List
class Student:name: strage: intphones: List[str]
s1 = Student("xiaoming",10,["huawei","xiaomi"])

一个极其简单的想法是把这些对象的值拼接到一起编程字符串存储下来,字段与字段之间使用逗号隔开,list的字段则使用#号隔开,想要使用什么字符自己定,只要约定好即可

# xiaoming,10,huawei#xiaomires = ','.join(s1.name,s1.age,'#'.join(s1.phones))
with open('s1.txt','w') as f:f.write(res)

读取这个字符串后按照我们的约定再反解析出来每个字段

with open('s1.txt','r') as f:res = f.read()name,age,phones = res.split(',')
phones = phones.split('#')s1 = Student(name, age, phones)

这样我们就又可以得到这个对象了。

存储数据的过程就是序列化,解析数据的过程就是反序列化

2. 字符串编码

我们把对象转换成字符串存到了本地文件中,并且可以打开这个文件看到我们的字符串。一切好像都很自然。其实中间存在了一个小gap,我们知道计算机只认识二进制,为啥存储的时候没有变成bytes,反而可以是字符串呢?我们把open函数补全一点儿

with open('s1.txt','w',encoding='utf-8') as f:f.write(res)

可以看到多了一个encoding的参数,就是使用utf-8的方式把这段字符串编码成二进制数据。

计算机只认识二进制,要想传输一个对象,必须将其转换成二进制格式。英文有26个字符,还有一些常用的符号,一个想当然的方法就是让每个字符对应一个数字,这就是ASCII码表,例如

二进制十进制十六进制图形
0010 00003220(空格)(␠)
0010 00013321!
0100 00016541A
0110 00019761a

英文是解决了,中文呢?日文呢?俄文呢?为了把所有的文本统一,搞出了一个unicode码本,每个文本都对应了一个二进制。unicode使用4个字节表示一个字符,这对于英文来说就非常的浪费内存,英国人跟英国人交流基本都是英文,他们浏览网站看到的也基本是英文,同样对于中文来说也一样。所以就提出了utf-8的【编码方式】,utf-8是一种变长编码方式,对于英文来说只需要一个字节就可以了,中文只需要3个字节。

在这里插入图片描述

这里需要注意的是,utf-8是一种unicode的编码方式,打个比方,每个人的手机号都是11位的,但是如果你办了亲情网,只需要3位就可以标识自己的老公,老婆,父母了。11位的手机号相当于unicode,可以表示全国所有的人,而亲情网则可以认为是utf-8编码,得到的那3位就是utf-8编码后的号码。

  • 通过unicode码本可以把字符映射成unicode二进制
  • 通过utf-8编码,可以把unicode二进制转换成更短的二进制

我就想,为啥不直接使用utf-8作为码本呢

所以不要觉得是我们把字符串写到本地了,其实这个字符串通过utf-8编码已经变成二进制存储到本地了。
也不要觉得我们直接打开的是字符串,其实通过notepad打开的是二进制,只不过notepad给我们使用utf-8解码了。将这个二进制重新映射成了unicode,通过unicode找到对应的字符给我们显示了出来。

编码转换

使用统一的unicode编码后,每个人看到的就不会是乱码了,俄文日文都可以在我们的电脑上正确的展示出来了。utf-8需要3个字节表示一个中文,但其实只需要2个字节就可以了,utf-8对中文而言也是有点浪费了,所以提出了gbk编码,只需要2个字节来表示中文。引文只是对中文进行编码,如果想要显示俄文那么就会是乱码。
我们请求网页的时候都会告知这个网页的编码方式,一般都是utf-8的,这样兼容性很好,任意字符都可以显示,也有gbk编码的。

如果一个文本使用utf-8编码,使用gbk格式打开就会乱码,同样,如果使用gbk编码,使用utf-8就会乱码。我们可以先使用对应的编码方式打开,这样得到其实就是unicode码,然后再使用想要的编码方式去保存。

这么说来的话,unicode算是一种事实标准了

4. json序列化

回过头来,我们把对象转换成字符串存储到了本地,也可以根据存储的规则反推出原来的对象,这个过程称之为序列化和反序列化,用逗号分隔的格式一般称为csv。更多会使用json格式来进行序列化。

import json
from typing import Listclass Phone:name: strtime: strclass Student:name: strage: intphones: List[Phone]
p1 = Phone("xiaomi", "2024")
p2 = Phone("huawei", "2008")
s1 = Student("xiaoming",10,[p1, p2])res = {}res['name'] = s1.name
res['age'] = s1.age
res['phones'] = [{'name':"xiaomi",'time':"2024"},{'name':"huawei",'time':"2008"}]res_str = json.dumps(res) # 把对象转换成字符串with open('s1.txt','w') as f:f.write(res_str)with open('s1.txt','r') as f:obj = json.loads(f.read())s2 = Student()
s2.name = obj['name']
s2.age = obj['age']
phones2 = []
for phone in obj['phones']:phones2.appen(Phone(phone.name,phone.time))
s2.phones = phones2
  1. 首先把对象转换成json支持的类型,json支持list,tuple,dict,int,str等基础类型
  2. 通过json的dumps函数我们可以把对象转换成字符串,并写到本地

proto序列化

protobuf本质就是一个【数据结构】,例如下面定义一个student的pb文件

syntax = "proto2";
package tutorial;message Phone{optional string name = 1;optional string time = 2;	
}message Student {optional string name = 1;optional int32 age = 2;repeated Phone phones = 3;
}

message可以认为就是class,repeated其实就是list
同样

  1. 将原始对象转成pb格式的对象
  2. 使用seriral序列化函数转换成字符串,并写入到本地

2. proto生成相应的类

proto文件最终通过proto会生产相应的类文件,如果是c++的话就是student.pb.cc和student.pb.h。

protoc --proto_path=. --cpp_out=. ./student.proto

如果是python则是student_pb2.py。

protoc --proto_path=. --python_out=. ./student.proto

proto_path是搜索proto的路径,而cpp_out是生产.cc和.h的路径,最后则是我们的proto路径。在这里的相对路径是相对于protoc执行的路径而言的,哪里执行命令,哪里就是工作路径。
例如proto文件存储在/a/b/test/addressbook.proto,执行protoc的路径是/c/d,此时proto_path和cpp_out使用的相对路径都是相对于/c/d而言的。

相关文章:

序列化与反序列化的本质

1. 将对象存储到本地 假如有一个student类,我们定义了好几个对象,想要把这些对象存储下来,该怎么办呢 from typing import List class Student:name: strage: intphones: List[str] s1 Student("xiaoming",10,["huawei&quo…...

飞牛爬虫FlyBullSpider 一款简单方便强大的爬虫,限时免费 特别适合小白!用它爬下Boss的2024年7月底Java岗位,分析一下程序员就业市场行情

一、下载安装FlyBullSpider 暂时支持Window,现在只在Win11上做过测试 1 百度 点击百度网盘 下载 链接:https://pan.baidu.com/s/1gSLKYuezaZgd8iqrXhk8Kg 提取码:Fly6 2 csdn https://download.csdn.net/download/fencer911/89584687 二、体验初…...

EXCEL 排名(RANK,COUNTIFS)

1.单列排序 需求描述:如有下面表格,需要按笔试成绩整体排名。 解决步骤: 我们使用RANK函数即可实现单列整体排名。 Number 选择第一列。 Ref 选择这一整列(CtrlShift向下箭头、再按F4)。 "确定"即可计算…...

【踩坑系列-JS】iframe中的url参数获取

Author:赵志乾 Date:2024-07-24 Declaration:All Right Reserved!!! 1. 问题描述 系统A的页面中以iframe的方式嵌入了系统B的页面,并需要将A页面url中的参数传递给B页面。 最初的实现方式是&am…...

测试工作中常听到的名词解释 : )

背景 很多名称其实看字面意思都挺抽象的,有时看群里的测试大佬在不停蹦这类术语,感觉很高大上,但其实很多你应该是知道的,只不过没想到别人是这样叫它的。又或者你的主编程语言不是 Java,所以看不懂他们在讲啥&#x…...

Linux内网离线用rsync和inotify-tools实现文件夹文件单向同步和双向同步

lsyncd实现方式可参考:https://www.jianshu.com/p/c075ccf89516 安装文件下载:相关文件下载 rsync默认都有,所以没有提供。 服务端和客户端均操作 服务端:双向同步其实都是服务端,只是单向同步时稍有区别 客户端&am…...

Spring Security学习笔记(二)Spring Security认证和鉴权

前言:本系列博客基于Spring Boot 2.6.x依赖的Spring Security5.6.x版本 上一篇博客介绍了Spring Security的整体架构,本篇博客要讲的是Spring Security的认证和鉴权两个重要的机制。 UsernamePasswordAuthenticationFilter和BasicAuthenticationFilter是…...

产品经理NPDP好考吗?

NPDP是新产品开发专业人员的资格认证,对于希望在产品管理领域取得认可的专业人士来说,NPDP认证是一项重要的资格。 那么,产品经理考取NPDP资格认证究竟难不难呢? 首先,NPDP考试的难易程度取决于考生的背景和准备情况…...

【C++】:红黑树的应用 --- 封装map和set

点击跳转至文章:【C】:红黑树深度剖析 — 手撕红黑树! 目录 前言一,红黑树的改造1. 红黑树的主体框架2. 对红黑树节点结构的改造3. 红黑树的迭代器3.1 迭代器类3.2 Begin() 和 End() 四,红黑树相关接口的改造4.1 Find…...

unity美术资源优化(资源冗余,主界面图集过多)

图片资源冗余: UPR unity的性能优化工具检查资源 1.检查纹理读/写标记 开启纹理资源的读/写标志会导致双倍的内存占用 检查Inspector -> Advanced -> Read/Write Enabled选项 2.检查纹理资源alpha通道 如果纹理的alpha通道全部为0,或者全部为2…...

【git】github中的Pull Request是什么

在 Git 中,"pull request"(简称 PR)是一种在分布式版本控制系统中使用的功能,特别是在使用 GitHub、GitLab、Bitbucket 等基于 Git 的代码托管平台时。Pull Request 允许开发者请求将他们的代码更改合并到另一个分支&am…...

gitlab查询分支API显示不全,只有20个问题

背景 gitlab查询分支API需要查询所有分支,且分支数量大于20,但目前调用接口返回的branch最多就显示了20个 解决方案 根据GitLab的文档,查询分支API默认最多返回20个分支。如果要一次性显示80个分支,可以使用分页参数来获取所有…...

vue3+vite 实现动态引入某个文件夹下的组件 - glob-import的使用

<template><div class"user-content"><HeaderTitle title"用户详情"></HeaderTitle><div class"main-content"><div><UserForm /></div><div><TableList></TableList></d…...

hhhhh

x torch.tensor([1.0,0.],[-1.,1.],requires_gradTrue) z x.pow(2).sum() z.backward() x.grad在这段代码中&#xff0c;我们利用 PyTorch 进行自动求梯度&#xff0c;下面详细解释代码的每一个部分及其在反向传播中的作用。同时&#xff0c;我们也将介绍函数对象和叶子节点的…...

扫雷小游戏纯后端版

package com.wind;import java.util.Random; import java.util.Scanner;public class ResultLei {static Random random new Random();public static void main(String[] args) {boolean end true;while (end) {System.out.println("请输入你选择的难度对应的数字&#…...

RuoYi-Vue-Plus(动态添加移除数据源)

一、添加数据 private final DynamicRoutingDataSource dynamicRoutingDataSource;private final DefaultDataSourceCreator dataSourceCreator;//添加一个dynamic的数据源@GetMapping("createDynamic")public void createDynamic() {DataSourceProperty property =…...

idea启动项目报:the command line via JAR manifest or via a classpath file and rerun.

解决方案 1.打开Edit Configurations&#xff0c;进去编辑&#xff0c;如下&#xff1a; 笔记配置 2.选择Modfiy options,点击Shorten command line 3.在新增的Shorten command line选项中选择JAR manifest或classpath file 4.点击保存后即可...

vue3 + ts中有哪些类型是由vue3提供的?

在 Vue 3 中结合 TypeScript 使用时&#xff0c;Vue 提供了一系列的类型帮助函数和接口&#xff0c;这些类型用于增强 TypeScript 的集成和提供类型安全。以下是一些由 Vue 3 提供的常用 TypeScript 类型&#xff1a; RefType: 用于标注一个 ref 返回的响应式引用类型。Reacti…...

【Linux】远程连接Linux虚拟机(MobaXterm)

【Linux】远程连接Linux虚拟机&#xff08;MobaXterm&#xff09; 零、原因 有时候我们在虚拟机中操作Linux不太方便&#xff0c;比如不能复制粘贴&#xff0c;不能传文件等等&#xff0c;我们在主机上使用远程连接软件远程连接Linux虚拟机后可以解决上面的问题。 壹、软件下…...

LeetCode Hot100 生成特殊数字的最少操作

给你一个下标从 0 开始的字符串 num &#xff0c;表示一个非负整数。 在一次操作中&#xff0c;您可以选择 num 的任意一位数字并将其删除。请注意&#xff0c;如果你删除 num 中的所有数字&#xff0c;则 num 变为 0。 返回最少需要多少次操作可以使 num 变成特殊数字。 如…...

在软件开发中正确使用MySQL日期时间类型的深度解析

在日常软件开发场景中&#xff0c;时间信息的存储是底层且核心的需求。从金融交易的精确记账时间、用户操作的行为日志&#xff0c;到供应链系统的物流节点时间戳&#xff0c;时间数据的准确性直接决定业务逻辑的可靠性。MySQL作为主流关系型数据库&#xff0c;其日期时间类型的…...

conda相比python好处

Conda 作为 Python 的环境和包管理工具&#xff0c;相比原生 Python 生态&#xff08;如 pip 虚拟环境&#xff09;有许多独特优势&#xff0c;尤其在多项目管理、依赖处理和跨平台兼容性等方面表现更优。以下是 Conda 的核心好处&#xff1a; 一、一站式环境管理&#xff1a…...

Linux 文件类型,目录与路径,文件与目录管理

文件类型 后面的字符表示文件类型标志 普通文件&#xff1a;-&#xff08;纯文本文件&#xff0c;二进制文件&#xff0c;数据格式文件&#xff09; 如文本文件、图片、程序文件等。 目录文件&#xff1a;d&#xff08;directory&#xff09; 用来存放其他文件或子目录。 设备…...

QMC5883L的驱动

简介 本篇文章的代码已经上传到了github上面&#xff0c;开源代码 作为一个电子罗盘模块&#xff0c;我们可以通过I2C从中获取偏航角yaw&#xff0c;相对于六轴陀螺仪的yaw&#xff0c;qmc5883l几乎不会零飘并且成本较低。 参考资料 QMC5883L磁场传感器驱动 QMC5883L磁力计…...

(二)TensorRT-LLM | 模型导出(v0.20.0rc3)

0. 概述 上一节 对安装和使用有个基本介绍。根据这个 issue 的描述&#xff0c;后续 TensorRT-LLM 团队可能更专注于更新和维护 pytorch backend。但 tensorrt backend 作为先前一直开发的工作&#xff0c;其中包含了大量可以学习的地方。本文主要看看它导出模型的部分&#x…...

linux 错误码总结

1,错误码的概念与作用 在Linux系统中,错误码是系统调用或库函数在执行失败时返回的特定数值,用于指示具体的错误类型。这些错误码通过全局变量errno来存储和传递,errno由操作系统维护,保存最近一次发生的错误信息。值得注意的是,errno的值在每次系统调用或函数调用失败时…...

Neo4j 集群管理:原理、技术与最佳实践深度解析

Neo4j 的集群技术是其企业级高可用性、可扩展性和容错能力的核心。通过深入分析官方文档,本文将系统阐述其集群管理的核心原理、关键技术、实用技巧和行业最佳实践。 Neo4j 的 Causal Clustering 架构提供了一个强大而灵活的基石,用于构建高可用、可扩展且一致的图数据库服务…...

C# 类和继承(抽象类)

抽象类 抽象类是指设计为被继承的类。抽象类只能被用作其他类的基类。 不能创建抽象类的实例。抽象类使用abstract修饰符声明。 抽象类可以包含抽象成员或普通的非抽象成员。抽象类的成员可以是抽象成员和普通带 实现的成员的任意组合。抽象类自己可以派生自另一个抽象类。例…...

【服务器压力测试】本地PC电脑作为服务器运行时出现卡顿和资源紧张(Windows/Linux)

要让本地PC电脑作为服务器运行时出现卡顿和资源紧张的情况&#xff0c;可以通过以下几种方式模拟或触发&#xff1a; 1. 增加CPU负载 运行大量计算密集型任务&#xff0c;例如&#xff1a; 使用多线程循环执行复杂计算&#xff08;如数学运算、加密解密等&#xff09;。运行图…...

如何在最短时间内提升打ctf(web)的水平?

刚刚刷完2遍 bugku 的 web 题&#xff0c;前来答题。 每个人对刷题理解是不同&#xff0c;有的人是看了writeup就等于刷了&#xff0c;有的人是收藏了writeup就等于刷了&#xff0c;有的人是跟着writeup做了一遍就等于刷了&#xff0c;还有的人是独立思考做了一遍就等于刷了。…...