当前位置: 首页 > news >正文

【BlossomRPC】手把手教你写一个RPC协议

文章目录

  • 新的开始
  • 什么是RPC?
  • 设计一个RPC需要些什么?

新的开始

经常会遇到一些项目,看着看着就发现看不懂文档了,也就是会出现一些跳过讲解的文章,使得自己很难了解某种中间件的开发全貌,所以想着自己先设计一个比较简易的RPC框架,在实现所有功能的前提下,向公司内部的技术分享一样,用口语化的方式讲述RPC框架,使得大家更容易理解。
这也是BlossomRPC项目的初衷。

RPC项目

配置中心项目

网关项目
再之前的网关项目中,我们已经了解到了Netty再网络通信中的作用,我们可以使用Netty开发非常多的东西,比如实现WebSocket,Http的服务器,上位机等。
只要是涉及到网络通信这一块的东西,都可以考虑使用我们的Netty去进行设计。
这一章节,我们将使用Netty去实现一个简单的RPC框架。
好的,接下来我们继续按照自顶向下的方式来学习这个自研的RPC框架。
(嘿嘿,最近在读金字塔原理,这不得让我试试我的学习成果)
因此,为了能够向你讲解清楚并且让你最后能理解这个项目,我会按照如下的方式为你介绍在这一章里面你会知道并且学习到什么东西。

  1. 什么是RPC
  2. 如何自己实现一个RPC框架
  3. 代码实战
    ok,let‘s go !

什么是RPC?

我在字节的时候,我和我的mentor闲聊聊到了RPC和HTTP。
然后就这个问题他问了我很多东西。
因此,再聊RPC之前,我们得先知道什么是RPC?他和HTTP的区别是什么?为什么我们会经常将PRC和HTTP去做比较呢?以及为什么企业内网中通信更多用的是RPC,而公网通信更多用的是HTTP?
我们随便搜索一下都能看到如下的对RPC的介绍:
RPC(Remote Procedure Call)是一种网络通信协议,它允许程序调用在另一台机器上的程序或服务,就像调用本地对象一样。RPC抽象了网络通信的复杂性,使得开发者可以像调用本地函数一样调用远程函数。RPC框架通常处理网络通信、数据的序列化/反序列化和错误处理等。
但是其实光看上面的描述其实还是没办法让我们对RPC有一个详细的了解,他依旧很抽象。
根据金字塔原理,我们知道这句话的目的是为了概述RPC的功能和作用,那么这段话中的每一个小句子的都是为了概述RPC来服务的。所以我们可以试图对上面的话中抽取一些关键词。

  1. 网络通信协议:RPC是一种用于网络间通信的方案。
  2. 程序调用:RPC允许一个程序调用另一台机器上的程序或服务。
  3. 类似本地对象调用:RPC使远程服务调用在使用上类似于调用本地对象。
  4. 抽象网络复杂性:RPC抽象化了底层的网络通信细节,简化了远程调用的过程。
  5. 调用远程函数:RPC的主要功能是允许开发者执行远程服务器上的函数或方法。
  6. 处理序列化/反序列化:RPC框架通常负责数据的序列化(将对象转换为网络传输的格式)和反序列化(将接收的数据转换回对象)。
  7. 错误处理:RPC框架通常包含错误处理机制,以处理网络通信中可能发生的问题。
    因此,其实我们可以对上面的话举个例子,然后进行一个总结描述:
    用白话来说,RPC(远程过程调用)就像是一个允许你通过电话指挥别人帮你完成任务的方法,而这个“别人”就是一台位于远处的电脑。想象一下,你需要完成一个任务,但是需要的工具或信息在别的地方,你就可以通过RPC来“打电话”给那台远程电脑,让它帮你完成这个任务。这个过程对你来说就像是让自己电脑上的一个程序做事一样简单,你不需要知道远程电脑是如何完成任务的,也不需要自己处理复杂的网络通信细节,你只需要负责拨号就行了,也就是说,你只需要知道对方的号码,然后接通电话的那一刻,说出你要对方做的使其即可。
    简而言之,RPC让远程电脑上的程序就像是你自己电脑上的程序一样容易调用。
    专业一点的说:RPC是一种能帮助你轻易调用远程机器上的程序接口并且帮助你屏蔽了各种底层复杂处理的方案,使得我们能专注于业务代码的开发而不是考虑底层细节。
    因此,为了能实现上面的目的,RPC一定需要完成上面的几个点,并且暴露出一个易于你调用的接口,使得你能非常方便的完成“打电话”这个动作。

那么第一个问题就回答完毕了,第二个问题我们经常能在网络上看见对它的讨论。
RPC和HTTP经常被拿来比较,主要是因为它们都被广泛用于服务间的通信,但在实现细节、性能、适用场景上有显著的不同。了解这些差异对于选择合适的通信机制来满足特定应用的需求非常重要。
这里我就直接引用知乎大佬的原话了:

既然有 HTTP 请求,为什么还要用 RPC 调用?
所以通过文章我们了解到,一个是技术方案,一个是通信协议。
而RPC这个技术方案,就包含了对通信协议的使用,因此,你可以直接使用HTTP协议作为RPC底层的传输机制,但是,你也可以使用更高效的协议,TCP/UDP都可以。

聊完了区别,我们来回答最后一个问题,其实这个问题就是在问,他和HTTP的优缺点了。
● HTTP:可读性好,跨语言,易于通过防火墙。优于RPC的地方在于其通用性和易用性,尤其是在构建面向公众的Web API时。
● RPC:更专注于效率和性能,适合用于内部服务之间的通信。RPC通常更快,因为它可以使用比HTTP更高效的传输协议和序列化方法。
● HTTP:由于工作在应用层,它包含了较多的协议头信息,因此相对于RPC在数据传输效率上可能较低。
● RPC:可能不如HTTP那样直观易用,且在跨语言支持和标准化方面可能不如HTTP强。
所以,我们总结一下,就能知道最后一问的答案(这一问就是我mentor问我的,她说我的当初的答案差点意思,嘿嘿,现在补充一下):

  1. 性能和效率:企业内网中的服务通常追求高效率和低延迟,RPC支持的高效二进制序列化和简化的通信协议在这方面表现更好。
  2. 安全和隔离:内网环境相对封闭和安全,服务间可以使用更为复杂的通信机制(如RPC),而无需担心公网中的安全问题。
  3. 协议和标准:HTTP作为互联网的基础协议,更适合用于构建公共API和服务。它的标准化和广泛支持使得不同环境和平台之间的通信更加容易。
  4. 兼容性和可访问性:HTTP在公网上的普遍兼容性使其成为互联网服务的理想选择,特别是在需要与浏览器等客户端交互时。

好的,我们基本了解完毕什么是RPC之后,我们就可以开始分析设计一个RPC框架需要用到那些知识了。

设计一个RPC需要些什么?

在着手编码之前,我们得先分析清楚设计一个RPC框架需要在那些方面下功夫去设计。
由于这个项目不会涉及的特别复杂,只是为了简单演示一下自己开发一个RPC框架所需要设计到的知识,所以我们一切从简。
我们也按照这张图片的方式进行处理,最终也可以完成对RPC请求的处理。
在这里插入图片描述
可以发现,对于一个RPC项目,我们需要从如下几个方面来考虑:

  1. 接口定义与服务规范
  2. 客户端代理(对客户端的请求进行代理)
  3. 序列化与反序列化
  4. 网络通信
  5. 服务注册与发现

了解到这些之后,我们就可以开始粗略的分析一下每一个点,然后详细的分析每一个点下面可能遇到的问题以及需要考虑到的一些东西。
如下是我列的一个粗略的大纲:

分析一下需要做的事情
1:消息协议的定义
- 版本 协议版本 1byte
- 压缩/序列化等算法的使用 1byte
- 消息类型 1byte
- 请求ID 8byte
- 消息长度 4byte
- 消息内容 Object2:编写编码器和解码器
- Server和Client都需要引入编解码器
- 编解码器需要对我这个特定的协议进行解析(基于上面的协议)
- 编解码器只是解析数据,最终数据的处理应该用Handler去操作3:处理序列化和反序列化
- 参考grpc、google、
- 可以考虑自己实现,也可以考虑使用开源的框架
- Java原生序列化 、 Json 、Arvo 、 protobuf4:编写Handler处理器------------完成协议部分-------------
------------客户端代理部分-----------5: 对客户端带有注解的服务进行代理
- JDK动态代理、CGLIB、SpringAop
- 其中Spring这种方式可以考虑使用BeanFactory的方式来得到代理对象
- 思考用什么样的一种方式可以对使用了我提供的注解的类进行代理的创建
-- BeanRegistry/BeanFactory/Bean反射6:编写注册中心代码/服务感知
- 项目是要整合springboot进行使用的
-- 要确保项目于springboot的无缝整合 减少用户感知
- 如何整合注册中心比如zk、nacos
- 如何编写一种通用的模板使得用户无感知,而只需要用到注解
-- 考虑使用AutoConfiguration+Conditional类型的注解进行依赖引入的判断
-- 如果引入了Nacos相关的重点依赖,那么注册中心用nacos
-- 也可以考虑提供枚举类型 / 通过配置文件的方式 让用户手动的去选择选用的注册中心
-- 优化用户体验,考虑在spring的application类型的文件中添加配置文件注释
-- 比如考虑到Spring中提供的各种Aware/Processor的使用
--- 比如ApplicatiopnAware/BeanFactoryAware/BeanClassLoaderAware/EnvironmentAware
--- 策略模式/单例模式/模板方法注册
--- 负载均衡的考虑
--- 考虑服务注册的时候注册上去的元数据信息
--- 如何从多个实例中选取一个特定实例(负载均衡算法实现)分析意义
1: 某些公司那边并不使用rpc通信的方式,他们用的是mq通信
2: 基站即服务
3: 什么时候用http,什么使用用rpc?
--------------------------

那么接下来,我们就按照上面的大纲来分析一下设计我们自己的RPC需要用到那些技术。
首先是序列化和反序列化,这里可以考虑两种方法,一种是使用最简单的Java原生的对象处理流,也就是Java自带的序列化,当然,这种方法并不好,性能低的同时,安全性以及移植性都很差。
第二种方法就是使用JSON,这是非常常见且简单的序列化方案。
其次就是使用Arvo、Protobuf这些序列化框架。
在这个项目中,序列化并不是非常重要的重头戏,因此我就直接选用JSON和原生Java序列化了。
当然,你甚至可以自定义序列化算法。
网络通信上,我们可以选择使用HTTP进行数据的传输,也可以使用Netty,这里很明显,我们选择Netty。
其次就是框架了,我们选择使用2.7.8版本的SpringBoot,这个版本已经支持了非常多的特性,并且可以非常快速简单的实现自动注入。
最后,注册中心我们选用Nacos和Zookeeper。
当然,我们的项目也支持你使用自己实现的注册中心。
(嘿嘿,自研注册中心正在开发中,敬请期待)
所以,了解完毕了上面,我们列出如下的技术栈:
SpringBoot2.7.8
Netty4.1.52
fastjson
好的,那么接下来我们正式开始准备开发。

相关文章:

【BlossomRPC】手把手教你写一个RPC协议

文章目录 新的开始什么是RPC?设计一个RPC需要些什么? 新的开始 经常会遇到一些项目,看着看着就发现看不懂文档了,也就是会出现一些跳过讲解的文章,使得自己很难了解某种中间件的开发全貌,所以想着自己先设计一个比较…...

算法之美:堆排序原理剖析及应用案例分解实现

这段时间持续更新关于“二叉树”的专栏文章,关心的小伙伴们对于二叉树的基本原理已经有了初步的了解。接下来,我将会更深入地探究二叉树的原理,并且展示如何将这些原理应用到更广泛的场景中去。文章将延续前面文章的风格,尽量精炼…...

Net8 ABP VNext完美集成FreeSql、SqlSugar,实现聚合根增删改查,完全去掉EFCore

没有基础的,请参考上一篇 彩蛋到最后一张图里找 参考链接 结果直接上图,没有任何业务代码 启动后,已经有了基本的CRUD功能,还扩展了批量删除,与动态查询 动态查询截图,支持分页,排序 实现原理…...

yolov8直接调用zed相机实现三维测距(python)

yolov8直接调用zed相机实现三维测距(python) 1. 相关配置2. 版本一2.1 相关代码2.2 实验结果 3. 版本二3.1 相关代码3.2 实验结果 相关链接 此项目直接调用zed相机实现三维测距,无需标定,相关内容如下: 1.yolov5直接调…...

element跑马灯/轮播图,第一页隐藏左边按钮,最后一页隐藏右边按钮(vue 开箱即用)

图示&#xff1a; 第一步&#xff1a; <el-carousel :class"changeIndex0?leftBtnNone:changeIndeximgDataList.length-1? rightBtnNone:" height"546px" :autoplay"false" change"changeNext"><el-carousel-item v-for…...

下载及安装PHP,composer,phpstudy,thinkPHP6.0框架

文章目录 目录 文章目录 前言 一、下载PHP 二、下载composer 三、下载PHPstudy 四、下载think PHP 1.下载 2.多应用开发 前言 thinkPHP是一款开源的PHP框架&#xff0c;它是基于MVC&#xff08;Model-View-Controller&#xff09;设计模式构建的。thinkPHP提供了丰富的…...

volatile使用场景总结

volatile关键字在Java中用于确保变量的可见性以及防止指令重排序&#xff0c;特别是在没有使用锁定机制时对变量进行读写的多线程环境中。以下是需要使用volatile修饰的一些场景&#xff1a; 确保变量的可见性 当一个变量被多个线程访问&#xff0c;且至少有一个线程在写&…...

AcWing 1413. 矩形牛棚(每日一题)

原题链接&#xff1a;1413. 矩形牛棚 - AcWing题库 作为一个资本家&#xff0c;农夫约翰希望通过购买更多的奶牛来扩大他的牛奶业务。 因此&#xff0c;他需要找地方建立一个新的牛棚。 约翰购买了一大块土地&#xff0c;这个土地可以看作是一个 R 行&#xff08;编号 1∼R&…...

macOS Sonoma 14.4.1 (23E224) 正式版发布,ISO、IPSW、PKG 下载

macOS Sonoma 14.4.1 (23E224) 正式版发布&#xff0c;ISO、IPSW、PKG 下载 2024 年 3 月 26 日凌晨&#xff0c;macOS Sonoma 14.4.1 更新修复了一个可能导致连接到外部显示器的 USB 集线器无法被识别的问题。它还解决了可能导致 Java 应用程序意外退出的问题&#xff0c;并修…...

WPF使用外部字体,思源黑体,为例子

1.在工程中新建文件夹&#xff0c;命名为“Font"。 2.将下载好的字体文件复制到Font文件夹。 3.在工程中&#xff0c;加入静态资源 <Window.Resources><FontFamily x:Key"SYBold">/AnalyzeImage;Component/Font/#思源黑体 CN Bold</FontFamily…...

9、jenkins微服务持续集成(一)

文章目录 一、流程说明二、源码概述三、本地部署3.1 SpringCloud微服务部署本地运行微服务本地部署微服务3.2 静态Web前端部署四、Docker快速入门一、流程说明 Jenkins+Docker+SpringCloud持续集成流程说明 大致流程说明: 开发人员每天把代码提交到Gitlab代码仓库Jenkins从G…...

VOC(客户之声)赋能智能家居:打造个性化、交互式的未来生活体验

随着科技的飞速发展&#xff0c;智能家居已成为现代家庭不可或缺的一部分。然而&#xff0c;如何让智能家居更好地满足用户需求&#xff0c;提供更贴心、更智能的服务&#xff0c;一直是行业关注的焦点。在这个背景下&#xff0c;VOC&#xff08;客户之声&#xff09;作为一种用…...

时序预测 | Matlab实现GWO-BP灰狼算法优化BP神经网络时间序列预测

时序预测 | Matlab实现GWO-BP灰狼算法优化BP神经网络时间序列预测 目录 时序预测 | Matlab实现GWO-BP灰狼算法优化BP神经网络时间序列预测预测效果基本介绍程序设计参考资料 预测效果 基本介绍 1.Matlab实现GWO-BP灰狼算法优化BP神经网络时间序列预测&#xff08;完整源码和数据…...

node.js学习(2)

版权声明 以下文章为尚硅谷PDF资料&#xff0c;B站视频链接&#xff1a;【尚硅谷Node.js零基础视频教程&#xff0c;nodejs新手到高手】仅供个人学习交流使用。如涉及侵权问题&#xff0c;请立即与本人联系&#xff0c;本人将积极配合删除相关内容。感谢理解和支持&#xff0c;…...

【pytest】测试数据存储在 Excel 或 TXT 文件中,如何参数化

如果测试数据存储在 Excel 或 TXT 文件中&#xff0c;你可以使用外部库来读取这些数据&#xff0c;并将其转化为参数化测试所需的格式。下面我将分别展示如何从这两种文件中读取数据&#xff0c;并用于参数化测试。 从 Excel 文件中读取测试数据 你可以使用 pandas 库来读取 …...

ubuntu22.04@Jetson Orin Nano安装配置VNC服务端

ubuntu22.04Jetson Orin Nano安装&配置VNC服务端 1. 源由2. 环境3. VNC安装Step 1: update and install xserver-xorg-video-dummyStep 2: Create config for dummy virtual displayStep3: Add the following contents in xorg.conf.dummyStep 4: Update /etc/X11/xorg.con…...

面向对象特征二:继承

继承的概述 生活中的继承 财产继承&#xff1a; 绿化&#xff1a;前人栽树&#xff0c;后人乘凉 “绿水青山&#xff0c;就是金山银山” 样貌&#xff1a; 继承之外&#xff0c;是不是还可以"进化"&#xff1a; 继承有延续&#xff08;下一代延续上一代的基因、财…...

宝塔面板CentOS Stream 8 x86 下如何安装openlitespeed

宝塔自带的软件商店里如果没办法安装&#xff0c;那么我们可以通过指令来手动安装&#xff1a; 第一步&#xff1a; yum install epel-release Package epel-release-8-19.el8.noarch is already installed. Dependencies resolved. Nothing to do. Complete! 第二步&#…...

LeetCode 2952.需要添加的硬币的最小数量:贪心(排序)

【LetMeFly】2952.需要添加的硬币的最小数量&#xff1a;贪心&#xff08;排序&#xff09; 力扣题目链接&#xff1a;https://leetcode.cn/problems/minimum-number-of-coins-to-be-added/ 给你一个下标从 0 开始的整数数组 coins&#xff0c;表示可用的硬币的面值&#xff…...

基于SpringBoot + Vue实现的在线装修管理系统设计与实现+毕业论文

介绍 系统包含用户、装修队、管理员三个角色 管理员&#xff1a; 管理员管理&#xff1a;管理其他管理员的账号和权限&#xff0c;确保系统管理的层次化和安全性。 装修队管理&#xff1a;审核装修队的资质&#xff0c;管理装修队的人员信息&#xff0c;监控工程进度&#xff…...

后进先出(LIFO)详解

LIFO 是 Last In, First Out 的缩写&#xff0c;中文译为后进先出。这是一种数据结构的工作原则&#xff0c;类似于一摞盘子或一叠书本&#xff1a; 最后放进去的元素最先出来 -想象往筒状容器里放盘子&#xff1a; &#xff08;1&#xff09;你放进的最后一个盘子&#xff08…...

Redis相关知识总结(缓存雪崩,缓存穿透,缓存击穿,Redis实现分布式锁,如何保持数据库和缓存一致)

文章目录 1.什么是Redis&#xff1f;2.为什么要使用redis作为mysql的缓存&#xff1f;3.什么是缓存雪崩、缓存穿透、缓存击穿&#xff1f;3.1缓存雪崩3.1.1 大量缓存同时过期3.1.2 Redis宕机 3.2 缓存击穿3.3 缓存穿透3.4 总结 4. 数据库和缓存如何保持一致性5. Redis实现分布式…...

【网络安全产品大调研系列】2. 体验漏洞扫描

前言 2023 年漏洞扫描服务市场规模预计为 3.06&#xff08;十亿美元&#xff09;。漏洞扫描服务市场行业预计将从 2024 年的 3.48&#xff08;十亿美元&#xff09;增长到 2032 年的 9.54&#xff08;十亿美元&#xff09;。预测期内漏洞扫描服务市场 CAGR&#xff08;增长率&…...

Golang dig框架与GraphQL的完美结合

将 Go 的 Dig 依赖注入框架与 GraphQL 结合使用&#xff0c;可以显著提升应用程序的可维护性、可测试性以及灵活性。 Dig 是一个强大的依赖注入容器&#xff0c;能够帮助开发者更好地管理复杂的依赖关系&#xff0c;而 GraphQL 则是一种用于 API 的查询语言&#xff0c;能够提…...

ServerTrust 并非唯一

NSURLAuthenticationMethodServerTrust 只是 authenticationMethod 的冰山一角 要理解 NSURLAuthenticationMethodServerTrust, 首先要明白它只是 authenticationMethod 的选项之一, 并非唯一 1 先厘清概念 点说明authenticationMethodURLAuthenticationChallenge.protectionS…...

从零实现STL哈希容器:unordered_map/unordered_set封装详解

本篇文章是对C学习的STL哈希容器自主实现部分的学习分享 希望也能为你带来些帮助~ 那咱们废话不多说&#xff0c;直接开始吧&#xff01; 一、源码结构分析 1. SGISTL30实现剖析 // hash_set核心结构 template <class Value, class HashFcn, ...> class hash_set {ty…...

Linux --进程控制

本文从以下五个方面来初步认识进程控制&#xff1a; 目录 进程创建 进程终止 进程等待 进程替换 模拟实现一个微型shell 进程创建 在Linux系统中我们可以在一个进程使用系统调用fork()来创建子进程&#xff0c;创建出来的进程就是子进程&#xff0c;原来的进程为父进程。…...

接口自动化测试:HttpRunner基础

相关文档 HttpRunner V3.x中文文档 HttpRunner 用户指南 使用HttpRunner 3.x实现接口自动化测试 HttpRunner介绍 HttpRunner 是一个开源的 API 测试工具&#xff0c;支持 HTTP(S)/HTTP2/WebSocket/RPC 等网络协议&#xff0c;涵盖接口测试、性能测试、数字体验监测等测试类型…...

MacOS下Homebrew国内镜像加速指南(2025最新国内镜像加速)

macos brew国内镜像加速方法 brew install 加速formula.jws.json下载慢加速 &#x1f37a; 最新版brew安装慢到怀疑人生&#xff1f;别怕&#xff0c;教你轻松起飞&#xff01; 最近Homebrew更新至最新版&#xff0c;每次执行 brew 命令时都会自动从官方地址 https://formulae.…...

Linux系统部署KES

1、安装准备 1.版本说明V008R006C009B0014 V008&#xff1a;是version产品的大版本。 R006&#xff1a;是release产品特性版本。 C009&#xff1a;是通用版 B0014&#xff1a;是build开发过程中的构建版本2.硬件要求 #安全版和企业版 内存&#xff1a;1GB 以上 硬盘&#xf…...