go-zero(七) RPC服务和ETCD

go-zero 实现 RPC 服务

在实际的开发中，我们是通过RPC来传递数据的，下面我将通过一个简单的示例，说明如何使用go-zero框架和 Protocol Buffers 定义 RPC 服务。

一、生成 RPC项目

在这个教程中，我们根据user.api文件，来编写一个user.proto 文件，创建一个用户管理的 RPC 服务.

1.回顾user.api

go-zero的 API 文件通常定义 HTTP 接口，包括请求和响应的格式。它主要用于 RESTful API 的定义。

我们先来回顾下之前的user.api文件

type (RegisterRequest {Username string `json:"username" validate:"required"` // 注册请求，用户名Password string `json:"password" validate:"required"` // 注册请求，密码}RegisterResponse {Message string `json:"message"` // 响应消息}
)type (LoginRequest {Username string `json:"username" validate:"required"` // 登录请求，用户名Password string `json:"password" validate:"required"` // 登录请求，密码}LoginResponse {Token string `json:"token"` // 登录响应，JWT token}
)@server (group:  user // 代表当前 service 代码块下的路由生成代码时都会被放到 user 目录下prefix: /v1 //定义路由前缀为 "/v1"
)
// 微服务名称为 user-ap，生成的代码目录和配置文件将和 user 值相关
service user-api {//用户注册@handler RegisterHandler//提交post请求   RegisterRequest为请求体  RegisterResponse为响应体post /register (RegisterRequest) returns (RegisterResponse)//用户登录@handler LoginHandlerpost /login (LoginRequest) returns (LoginResponse)
}//因为我们想要通过jwt来传递数据，所以我们不需求请求信息
type (GetInfoResponse {Username string `json:"username" `Password string `json:"password" `}
)//更新数据我们就简单修改下密码
type (UpdataRequest {Password string `json:"password" ` // 更新请求，新的密码}UpdataResponse {Message string `json:"message"` // 更新响应消息}
)@server (group:  userprefix: /v1jwt:    Auth //开启jwt
)
service user-api {@handler GetInfoHandler// 不需要请求信息post /getinfo returns (GetInfoResponse)@handler UpdataHandlerpost /updata (UpdataRequest) returns (UpdataResponse)
}

2. 创建proto 文件

Proto 文件，用于定义 gRPC 服务和消息格式。它主要用于远程过程调用（RPC），使用 Protocol Buffers 进行数据序列化。

根据user.api文件创建user.proto文件:

syntax = "proto3";  //声明使用 Protocol Buffers 的版本为 3//proto 包名
package pb;
//生成 golang 代码后的包名
option go_package ="./pb";  //必须要有“./” 这样的路径
//指定生成的 Go 代码的包名为 pb，在同一目录下创建一个名为 pb 的包//定义用户消息结构
message Users {int64 id = 1; // 用户 IDstring username = 2; // 用户名string password = 3; // 密码int64 createdAt = 4; // 创建时间
}//注册请求消息
message RegisterReq {string username = 1; // 用户名string password = 2; // 密码int64 createdAt = 3; // 创建时间
}//注册响应消息
message RegisterResp {string message =1; // 响应消息
}
//登录请求消息
message LoginReq {string username = 1; // 用户名string password = 2; // 密码
}
//登录响应消息
message LoginResp {string token = 1; // JWT token
}//更新数据请求消息
message UpdateReq {string password = 1; //password
}//更新数据响应消息
message UpdateResp {string message =1;
}// 通过username查询 请求消息
message GetInfoReq {string username = 1; //id
}// 通过username查询 响应消息
message GetInfoResp {Users users = 1; //users
}//定义了一个名为 user 的服务，提供了四个 RPC（Remote Procedure Call）方法，
// 分别对应用户的注册、登录、更新信息和查询信息操作：
service user{rpc Register(RegisterReq) returns (RegisterResp);rpc Login(LoginReq) returns (LoginResp);rpc Update(UpdateReq) returns (UpdateResp);rpc Getinfo(GetInfoReq) returns (GetInfoResp);
}

可以看到user.proto文件 和 user.api结构都差不多

3.API 文件与 Proto 文件的关系

字段一致性
虽然它们不需要完全一致，但在以下方面保持一致是好的实践：

• 字段名称：请求和响应消息的字段名称在 API 和 Proto 中应当保持一致，以避免混淆和确保一致的接口。

• 数据类型：字段的数据类型应在 API 和 Proto 中一致，确保数据传输时类型安全。

• 业务逻辑：API 和 Proto 文件应反映相同的业务逻辑。例如，如果 API 文件中的某个字段代表用户的 username，那么在 Proto 文件中也应有相应的 username 字段，以确保在处理登录或注册时一致。

  实现一致性
  在上面的文件中，RegisterRequest 和 RegisterResp 的字段在类型和名称上是一致的。这有助于维护这些接口之间的一致性。而在后端实现中，你可以从 API 层接收请求数据，并在处理时将这些数据转换为 Proto 消息，随后调用 gRPC 服务。

4.使用goctl生成代码

goctl rpc 是 goctl 中的核心模块之一，其可以通过 .proto 文件一键快速生成一个 rpc 服务,在项目根目录下新建一个RPC 目录，并执行以下命令生成 RPC 服务：

 goctl rpc protoc user.proto  --go_out=. --go-grpc_out=. --zrpc_out=. --client=true 

• goctl rpc protoc 是根据 protobufer 文件生成 rpc 服务
• go_out 是proto生成的go代码所在的目录，proto本身的命令参数
• go-grpc_out 是proto生成的grpc代码所在的目录，proto本身的命令参数,和go_out必须同一个目录
• zrpc_out 是 goctl rpc自带的命令，go-zero生成的代码所在的目录
• client=true 是否生成客户端代码

二、实现RPC服务端

1. 配置说明

在使用gRPC服务时，我们会用到go-zero内置的RpcClientConf配置和RpcServerConf配置

RpcSeverConf：

• ServiceConf: 基础服务配置
• ListenOn: 监听地址
• Etcd: etcd 配置项
• Auth: 是否开启 Auth
• Redis: rpc 认证，仅当 Auth 为 true 生效
• Timeout: 超时时间
• Middlewares: 启用中间件
• Health: 是否开启健康检查

RpcClientConf：

• Etcd: 服务发现配置，当需要使用 etcd 做服务发现时配置
• Endpoints: RPC Server 地址列表，用于直连，当需要直连 rpc server 集群时配置
• Target: 域名解析地址，名称规则请参考
• App: rpc 认证的 app 名称，仅当 rpc server 开启认证时配置
• Token: rpc 认证的 token，仅当 rpc server 开启认证时配置
• NonBlock: 是否阻塞模式,当值为 true 时，不会阻塞 rpc 链接
• Timeout: 超时时间
• KeepaliveTime: 保活时间
• Middlewares: 是否启用中间件

我们现在只关注Etcd和Endpoints 这两个参数说明，rpc服务端和客户端直接是支持etcd和直连的。

2. 初始化配置

在实际开发者，我们希望尽量使用rpc来实现数据库的CURD,为了方便RPC调用，我们将之前生成的 model 移动到项目根目录。

如果不知道model怎么生成的，可以看前面的文章

在user.yaml配置中添加数据库连接和 JWT 配置，并去掉etcd配置，采用直连模式：

Name: user.rpc
ListenOn: 0.0.0.0:8080
#因为是演示项目，所以我们不需要使用ETCD，直接直连就可以了
#Etcd:  
#  Hosts:
#  - 127.0.0.1:2379
#  Key: user.rpc#为RPC添加 auth和数据连接
JwtAuth:AccessSecret: "sss12345678" # AccessSecret的值要是8位以上的字符串AccessExpire: 10000 #AccessExpire是过期时间，单位是秒MysqlDB:# 数据库需要替换成你实际的地址、账号、密码和数据库DbSource: "root:root@tcp(127.0.0.1:33069)/test_zero?charset=utf8mb4&parseTime=True&loc=Local"

接着在config.go文件中添加字段：

type Config struct {zrpc.RpcServerConfJwtAuth struct {AccessSecret stringAccessExpire int64}MysqlDB struct {DbSource string `json:"dbSource"`}
}

在servicecontext.go文件中注册数据模型，

type ServiceContext struct {Config config.ConfigUserModel model.UsersModel   //配置model
}func NewServiceContext(c config.Config) *ServiceContext {return &ServiceContext{Config:    c,// 用数据库连接初始化modelUserModel: model.NewUsersModel(sqlx.NewMysql(c.MysqlDB.DbSource)),}
}

到这你会发现，rpc用法基本上和原来的api服务一样。

3. 实现业务逻辑

现在我们来实现业务逻辑，这里我只演示登录业务，因为代码基本上和之前的API项目没啥区别，打开loginlogic.go:

func (l *LoginLogic) Login(in *pb.LoginReq) (*pb.LoginResp, error) {// todo: add your logic here and delete this lineuserModel := l.svcCtx.UserModel//在api中 是req.Username  现在修改成 in.Usernameuser, err := userModel.FindOneByUsername(l.ctx, in.Username)if err != nil && err != model.ErrNotFound {return nil, errors.New(0, "数据库连接失败")}//从配置文件中获取secret 、secretsecret := l.svcCtx.Config.JwtAuth.AccessSecretexpire := l.svcCtx.Config.JwtAuth.AccessExpire//生成jwt tokentoken, err := getJwtToken(secret, time.Now().Unix(), expire, in.Username)if err != nil {return nil, errors.New(4, "token生成失败")}//查询username判断是否有数据if user != nil {//如果有数据，密码是否和数据库匹配//在api中 是req.Password  现在修改成 in.Password if in.Password == user.Password {return &pb.LoginResp{Token: "Bearer " + token, //开头添加Bearer}, nil} else {return nil, errors.New(5, "密码错误")}} else {return nil, errors.New(6, "用户未注册")}
}

4. 测试RPC服务

由于 RPC 不能像 REST API 那样直接使用 Postman的http 或 cURL 进行测试，我们需要使用 grpcurl 工具，先去网站中下载好工具,下载完成后，需要配置环境变量或者直接放在GOPATH的bin目录下即可。

下载地址：https://github.com/fullstorydev/grpcurl

grpcurl的使用方法你们可以去看下官方文档，我就不过多介绍了。

为了演示直观一点，我使用Postman进行测试,首先新建一个请求，然后把http 切换成gRPC

我们先选择对应的proto文件 ，然后输入服务地址

选好proto文件后，会自动弹出服务的方法，我们选择Login

最后输入服务地址和请求参数，invoke 以测试服务。：

三、实现RPC客户端（在API中使用）

现在我们切换到API的项目中，刚刚我们实现了RPC的服务端，现在我们需要实现RPC的客户端，也就是在API中实现RPC的调用。

1.初始化配置

首先我们需要在API中配置RPC的链接 ，打开user-api.yaml ,添加字段:

Name: user-api
Host: 0.0.0.0
Port: 8889UserRpcConf:Endpoints:- 127.0.0.1:8080

服务端使用的直连，所以客户端我们也使用Endpoints进行直连，因为我们现在使用rpc对model进行操作，所以需要删除关于数据库和Auth 认证相关的字段.

接着修改，config,go文件：

type Config struct {rest.RestConf// 添加prc链接UserRpcConf zrpc.RpcClientConf
}

最后修改servicecontext.go文件，把rpc服务注册到上下文：

type ServiceContext struct {Config    config.ConfigUserRpc   user.User  //添加user服务
}func NewServiceContext(c config.Config) *ServiceContext {return &ServiceContext{Config:    c,// 初始化user服务UserRpc:   user.NewUser(zrpc.MustNewClient(c.UserRpcConf)),}
}

2. 调用RPC服务

我们在loginlogic.go中调用 RPC 登录服务：

import (/*....省略其他包*/userRpc "newTest/newrpc/user"  //导入userRPC服务，设置别名避免冲突// 为了避免服务名冲突，应该在proto文件就考虑好服务名的设置
)func (l *LoginLogic) Login(req *types.LoginRequest) (resp *types.LoginResponse, err error) {// todo: add your logic here and delete this line//从服务上下文获取UserRpc的login服务loginResp, err := l.svcCtx.UserRpc.Login(l.ctx, &userRpc.LoginReq{Username: req.Username,  //从请求中获取usernamePassword: req.Password, //从请求中获取Password})if err != nil {return nil, errors.New(13, "登录rpc链接错误")}return &types.LoginResponse{Token: loginResp.Token,}, nil
}

通过代码你可以发现，go-zero调用RPC服务就是这么简单，像调用本地服务一样。

3.测试RPC调用

启动 user RPC 和 user API 的服务，进行测试：

四、使用etcd

如何让服务快速并透明地加入计算集群，并确保集群中的所有机器都能迅速找到共享的配置信息，同时构建一个高可用、安全、易于部署且响应迅速的服务集群，都是待解决的挑战。etcd 作为一种工具，为解决这些问题提供了有效的解决方案。

1.什么是 etcd？

etcd 是一个开源的分布式键值存储系统，主要用于配置共享、服务发现和数据管理，以确保各个服务之间能够高效、可靠地协调和通信。

etcd 通常使用 Raft 算法来确保强一致性和高可用性，这使它非常适合存储和管理配置信息、服务注册信息以及其他关键数据。

etcd 的主要特点：

1. 强一致性：

   • etcd 使用 Raft 共识算法，确保数据的一致性和高可靠性，特别是在节点故障或网络分区的情况下。

2. 高可用性：

   • etcd 能够根据选定的副本数进行扩展，并能够承受部分节点的故障，而不会影响整体服务的可用性。

3. 简洁的 API：

   • etcd 提供简单的 HTTP/gRPC 接口，允许用户轻松存取和管理数据。

4. 支持 Watch 功能：

   • 用户可以订阅/观察特定键的更改，这使得应用程序能够根据配置变化做出实时反应。

5. 版本控制：

   • etcd 自动为每个键生成版本号，用户可以方便地访问和回滚到特定版本的配置。

6. 轻松集成：

   • etcd 在云原生应用程序和微服务架构中广泛使用，特别是 Kubernetes 作为其核心组件。

2.为什么使用 etcd？

使用 etcd 的原因主要包括以下几点：

1. 配置管理：

   • 在分布式系统中，服务的配置通常需要在多个节点之间共享和一致。etcd 允许你集中存储所有配置，并在节点之间保持一致性。

2. 服务发现：

   • 微服务架构中，应该能够快速发现和连接到可用的服务实例。etcd 提供服务注册和发现功能，使得服务可以动态注册和注销。

3. 高可用性和容错性：

   • etcd 设计上考虑了高可用性和节点故障容错。当某些节点发生故障时，系统可以通过其他节点继续提供服务，从而避免单点故障。

4. 强一致性保障：

   • 尽管分布式系统的拓扑结构可能变化，但是 etcd 确保了一致性，使得在任何时间点读取的数据都是最新的，适合管理关键配置数据。

5. 实时监控与通知：

   • 使用 etcd 的 Watch 功能，可以在配置更改时获得实时通知，这对于动态更新配置非常有用。

3. 在docker中部署etcd

我们使用docke部署etcd ,创建etcd.yaml,把下面的内容保存到改文件上：

ersion: "3.5"
services:Etcd:container_name: etcd3-go-zeroimage: bitnami/etcd:3.5.6deploy:replicas: 1restart_policy:condition: on-failureenvironment:- ALLOW_NONE_AUTHENTICATION=yes- ETCD_SNAPSHOT_COUNT=10000- ETCD_QUOTA_BACKEND_BYTES=6442450944privileged: truevolumes:- ./volumes/etcd/data:/bitnami/etcd/dataports:- 2379:2379- 2380:2380

然后使用docker-compose 拉取仓库：

docker-compose -f docker-compose-etcd.yml up -d

4.使用etcd

server端
在 user.yaml 中取消 etсd 的注释并配置：

Name: user.rpc
ListenOn: 0.0.0.0:8080
# 取消etcd的注释，重新启用
Etcd:Hosts:- 127.0.0.1:2379Key: user.rpc

client端
在 user-api.yaml 中修改 RPC 配置，使用 etcd 进行服务发现：

Name: user-api
Host: 0.0.0.0
Port: 8889#取消Endpoints直连，使用etcd
UserRpcConf:#Endpoints:#  - 127.0.0.1:8080Etcd:Hosts:- 127.0.0.1:2379Key: user.rpc  #和server的key要一致

注意 server和client的 key要一致