从零实现一个轻量级 RPC 框架：通信协议与动态代理的核心原理

个人主页北极的代码欢迎来访作者简介java后端学习者❄️个人专栏苍穹外卖日记SSM框架深入JavaWeb✨命运的结局尽可永在不屈的挑战却不可须臾或缺技术热点 · 源码实战 · 万字长文拆解 RPC 调用细节摘要本文手把手教你实现一个极简RPC框架深入剖析RPC底层原理。从自定义TCP协议解决粘包问题开始到动态代理屏蔽网络调用细节再到反射与服务注册机制完整演示了RPC调用的核心流程。通过Java原生序列化示例展示了客户端代理如何将方法调用转为网络请求服务端如何通过反射执行并返回结果。文章还探讨了序列化选型JSON/Hessian/Protobuf的优劣比较并指出与生产级RPC框架如Dubbo/gRPC在注册中心、负载均衡等方面的差距。通过这个实践项目开发者能透彻理解RPC框架的关键技术点协议设计、代理机制和服务发现。前言微服务架构下RPC远程过程调用几乎成了开发者的“日常工具”。但很多同学用得很熟练问到“Feign 和 Dubbo 的本质区别”“为什么需要序列化协议”“动态代理到底做了什么”时却往往答不上来。这篇文章不是教你如何使用现成的 RPC 框架而是手把手带你实现一个极简版 RPC 框架涉及自定义 TCP 通信协议解决粘包问题Java 动态代理屏蔽网络调用细节反射与服务注册服务端分发序列化选型JSON vs Hessian vs Protobuf全程代码可运行看完你将对 RPC 的底层原理有一个非常具体的认知。一、RPC 调用流程回顾一个完整的 RPC 调用包含 5 个关键角色text[Client] ↓ 调用代理对象 [动态代理] → 将方法参数转成请求对象 → 序列化 → ↓ [网络传输] (Socket) ↓ [Server 接收] → 反序列化 → 根据接口名方法名找到实现类 → ↓ [反射执行] → 返回结果 → 再序列化 → 写回 Client要自己实现一个 RPC核心要解决三个问题协议设计服务端怎么知道一个请求从哪里开始、到哪里结束代理与调用如何让调用远程方法像调用本地方法一样自然服务发现简化版服务端如何根据请求找到对应的实现类我们逐一来实现。二、自定义通信协议TCP 是流式协议没有天然的“消息边界”。如果连续发送两个 RPC 请求服务端收到的可能是半包或粘包的数据。解决方案在每个消息前面加上长度字段。协议格式简单版text----------------------------------------- | 魔数(2B) | 长度(4B) | body(bytes) | -----------------------------------------魔数用来快速判断是否是合法协议包比如 0xCAFE长度body 的字节长度body实际请求或响应数据序列化后的字节编码器客户端发送java public class RpcEncoder { public static byte[] encode(byte[] body) { ByteBuffer buffer ByteBuffer.allocate(2 4 body.length); buffer.putShort((short) 0xCAFE); // 魔数 buffer.putInt(body.length); // 长度 buffer.put(body); // 数据 return buffer.array(); } }解码器服务端接收服务端需要循环读 Socket 输入流每次先读 6 个字节24解析出长度再读取对应长度的 body 数据。java public static byte[] decode(InputStream in) throws IOException { DataInputStream dis new DataInputStream(in); short magic dis.readShort(); if (magic ! 0xCAFE) { throw new RuntimeException(非法协议包); } int len dis.readInt(); byte[] body new byte[len]; dis.readFully(body); // 确保读满 len 字节 return body; }这是 Netty 中 LengthFieldBasedFrameDecoder 的极简原型。三、动态代理让远程调用像本地一样客户端不应该了解 Socket 细节。我们通过java.lang.reflect.Proxy生成一个代理对象java public class RpcClientProxy implements InvocationHandler { private String host; private int port; public RpcClientProxy(String host, int port) { this.host host; this.port port; } public T T getProxy(ClassT clazz) { return (T) Proxy.newProxyInstance( clazz.getClassLoader(), new Class[]{clazz}, this ); } Override public Object invoke(Object proxy, Method method, Object[] args) throws Throwable { // 1. 构建请求对象 RpcRequest request new RpcRequest(); request.setInterfaceName(method.getDeclaringClass().getName()); request.setMethodName(method.getName()); request.setParameterTypes(method.getParameterTypes()); request.setParameters(args); // 2. 通过 Socket 发送请求并等待响应 try (Socket socket new Socket(host, port); ObjectOutputStream oos new ObjectOutputStream(socket.getOutputStream()); ObjectInputStream ois new ObjectInputStream(socket.getInputStream())) { oos.writeObject(request); RpcResponse response (RpcResponse) ois.readObject(); if (response.getError() ! null) { throw response.getError(); } return response.getResult(); } } }这里为了方便演示直接用了 Java 原生序列化生产环境会换成更高效的序列化协议。四、服务端注册表 反射执行服务端需要维护一个 Map接口名 → 实现类对象。java public class RpcServer { private MapString, Object serviceMap new ConcurrentHashMap(); private ExecutorService threadPool Executors.newCachedThreadPool(); public void registerService(Object service) { Class?[] interfaces service.getClass().getInterfaces(); for (Class? anInterface : interfaces) { serviceMap.put(anInterface.getName(), service); System.out.println(注册服务: anInterface.getName()); } } public void start(int port) throws IOException { try (ServerSocket serverSocket new ServerSocket(port)) { while (true) { Socket socket serverSocket.accept(); threadPool.submit(() - handleRequest(socket)); } } } private void handleRequest(Socket socket) { try (ObjectInputStream ois new ObjectInputStream(socket.getInputStream()); ObjectOutputStream oos new ObjectOutputStream(socket.getOutputStream())) { RpcRequest request (RpcRequest) ois.readObject(); // 找到服务实现 Object service serviceMap.get(request.getInterfaceName()); if (service null) { throw new RuntimeException(未找到服务: request.getInterfaceName()); } // 反射调用 Method method service.getClass().getMethod( request.getMethodName(), request.getParameterTypes() ); Object result method.invoke(service, request.getParameters()); // 返回响应 RpcResponse response RpcResponse.success(result); oos.writeObject(response); } catch (Exception e) { e.printStackTrace(); } } }五、Demo 演示调用远程计算服务定义接口javapublic interface Calculator { int add(int a, int b); }服务端实现javapublic class CalculatorImpl implements Calculator { Override public int add(int a, int b) { return a b; } } // 启动服务端 RpcServer server new RpcServer(); server.registerService(new CalculatorImpl()); server.start(8888);客户端调用javaRpcClientProxy proxy new RpcClientProxy(127.0.0.1, 8888); Calculator calculator proxy.getProxy(Calculator.class); int result calculator.add(10, 20); System.out.println(result); // 输出 30完全像本地方法看到没有客户端没有任何网络代码也没有序列化/反序列化逻辑 —— 全部被动态代理屏蔽了。六、进阶话题序列化选型上面用了 Java 原生ObjectOutputStream存在几个问题跨语言不友好Python/Go 无法调用性能较差序列化体积大安全性问题常见替代方案序列化方案体积速度跨语言可读性Java 原生大慢❌二进制JSON中中✅高Hessian2小快✅二进制Protobuf很小很快✅二进制在我们的自定义协议中只需要替换编码/解码时使用的序列化工具即可与协议长度字段完全解耦。示例用 Protobuf 改造java // 编码 byte[] body calcRequest.toByteArray(); // protobuf 生成的对象 ByteBuffer buffer ByteBuffer.allocate(2 4 body.length); // 解码 CalcRequest req CalcRequest.parseFrom(body);七、还可以优化的点目前的实现是一个“玩具版” RPC与 Dubbo / gRPC 的主要差距在于没有注册中心目前硬编码 IP:Port可引入 ZooKeeper / Nacos。没有负载均衡可增加随机、轮询、一致性 Hash 策略。没有连接池每次新建 Socket性能差应复用长连接。没有超时控制需要异步 Future 超时机制。没有过滤器链日志、监控、限流等功能无法插拔。如果把这几个点都补上基本上就是一个可用的轻量级 RPC 了。八、总结本文从一个非常低的起点裸 Socket 反射开始逐步构建了一个完整的 RPC 核心流程。你看到的不只是“如何使用 RPC”而是协议中的魔数与长度字段如何解决粘包动态代理如何把方法调用转成网络请求服务端如何通过注册表 反射完成方法执行序列化框架在其中的角色下次你在项目里引入 OpenFeign 或 Dubbo 时应该能更清晰地理解其底层在做什么。全文代码已整理到 GitHub示例中未给出真实链接实际可补充。欢迎在评论区讨论你眼中的 RPC 核心难点。如果觉得这篇文章对你有帮助欢迎点赞、收藏、转发。下期预告《从 Socket 到 Netty重写这个 RPC 框架性能提升 10 倍》。