【后端开发】go-zero微服务框架实践（goland框架对比，go-zero开发实践，文件上传问题优化等等）

【后端开发】go-zero微服务框架实践（goland框架对比，go-zero开发实践，文件上传问题优化等）

1、go框架对比介绍

国内开源goland框架对比 1

• go-zero，2020开源，30kstar：
  整体上做为一个稍重的微服务框架，提供了微服务框架需要具备的通用能力，同时也只带一部分的强约束，例如针对web和rpc服务需要按照其定义的DSL的协议格式进行定义，日志配置、服务配置、apm配置等都要按照框架定义的最佳实践来走。
• go-kratos，2019开源，23kstar：
  整体上做为一个轻量级的微服务框架，B站开源项目； web和rpc服务的 DSL协议直接采用protobuf和grpc进行定义，采用wire做依赖注入、自动生成代码。 框架定位于解决微服务的核心诉求。
• tarsgo，2018开源，3kstar：
  做为tars这个大的C++重量级微服务框架下的go语言服务框架，腾讯开源项目； 对于有个好爹的这个事情，总是喜忧参半的；好处在于很多能力不用从头开始做起，直接依托母体；劣势就是独立性相对较差，要选用这个tarsgo的前提，就是要先选用tars这个大的框架。
• dubbo go，2019开源，4kstar
  做为dubbo这个大的Java重量级微服务框架下的go语言服务框架，阿里开源项目；优劣基本跟tarsgo一样
• jupiter，2020开源，4kstar
  重量级的微服务框架，斗鱼开源项目；整体思路上跟tars和dubbo力图提供一个大一统的框架，更确切的说是一个微服务平台，也带类似tars和dubbo那样的管理控制台，提供各种控制和metric的继承，这也无形中给选用此框架带来了不少代价。
• go-mirco，2015开源，22kstar
  一个轻量级的微服务框架，做为一个在2015年就开源的项目，在当时那个市面上开源的微服务框架稀少的年代，它是为数不多的选择。
• go-kit，2015开源，26kstar
  从严格意义上来说，并不能做为一个微服务框架，而应该是一个微服务的工具集，其官方定义上也是这么说，提供各种选项让你自由选择。做为一个在2015年就开源的项目，也是当时很多go项目为数不多的选择之一。
• 综上所属，选型时选择go-zero

go-zero介绍 1， 2 云原生go-zero微服务框架设计思考

• go-zero 是一个集成了各种工程实践的 web 和 rpc 框架。通过弹性设计保障了大并发服务端的稳定性，经受了充分的实战检验。
  go-zero 包含极简的 API 定义和生成工具 goctl，可以根据定义的 api 文件一键生成 Go, iOS, Android, Kotlin, Dart, TypeScript, JavaScript 代码，并可直接运行。
• 框架设计​
  轻松获得支撑千万日活服务的稳定性，内建级联超时控制、限流、自适应熔断、自适应降载等微服务治理能力，无需配置和额外代码，微服务治理中间件可无缝集成到其它现有框架使用，极简的 API 描述，一键生成各端代码，自动校验客户端请求参数合法性，大量微服务治理和并发工具包。
• 框架特点​
  强大的工具支持，尽可能少的代码编写，极简的接口，完全兼容 net/http，支持中间件，方便扩展，高性能，面向故障编程，弹性设计，内建服务发现、负载均衡，内建限流、熔断、降载，且自动触发，自动恢复，API 参数自动校验，超时级联控制，自动缓存控制，链路跟踪、统计报警等，高并发支撑，稳定保障了疫情期间每天的流量洪峰。

2、go-zero 微服务开发实践

1、数据库和数据表设计

• 微服务进行服务拆分一个最好理解并且最基本的原则就是：每个服务对应一个单独的数据库。做到服务与服务之间的解耦，划清边界。 1
• 这就要求我们明确项目（服务）需求之后，做好表结构设计。
• 我们后续项目中用到的model、proto、甚至api层的结构体都可以通过工具根据数据库生成，所以数据库的设计至关重要
• 这部分所有微服务都是一样的，在这里就不再赘述
• 部分设计规范可参考 1, 2, 3
• 最佳实践
  范式设计：遵循数据库范式原则，最少达到第三范式，以减少数据冗余。
  分区考虑：对大数据量表采取分区设计，以提高查询效率。
  索引：为常用查询字段添加索引，以加速数据库查询。
  规范命名：使用统一的命名规范（如小写字母加下划线）来提高可读性。
  外键约束：适当设置外键以确保数据的完整性与关联性。

2、使用工具生成model

• 使用goctl中的model命令生成，1
• 为了进一步提高效率，我们对此进行了封装，方便我们更快更好的生成model
  比如在model文件夹里保留建表的sql文件，用后缀_gen，_script等补充更多功能性的查询函数。
• 注意事项：
  生成代码后，手动检查是否符合业务逻辑，尤其是验证函数。
  定期更新模型代码，保持与数据库的同步。
  自定义字段类型：如果有特殊数据类型，考虑自定义字段类型以保证数据正确性。

3、开发api层

• 先定义xxx.api文件，可以参考 api demo
• 使用goctl生成代码：goctl api go -api main.api -dir …/ --style=goZero
• 配置生成代码中的config目录以及yaml文件，弄清它们两者之间的联系
• 配置生成代码svc目录中的文件（比如jwt之类的中间件）
• 最佳实践
  RESTful 设计原则：遵循 RESTful API 设计规范，确保接口的可理解性和一致性。
  参数验证：对输入参数进行严格验证，使用中间件处理错误和异常。
  使用 Swagger：集成 Swagger 将 API 接口文档化，便于开发和调试。
• 注意事项：
  设计清晰的错误返回结构，方便前端处理。
  避免过于复杂的路由，保持路由设计的简洁性。

4、开发rpc层

• 使用goctl生成pb.go文件：goctl rpc protoc lottery.proto --go_out=…/ --go-grpc_out=…/ --zrpc_out=…/ --style=goZero
• 配置svc，注册model
• 编写logic，调用model，写业务代码
• 最佳实践：
  Protocol Buffers：使用 Protocol Buffers 作为序列化方式，以提高传输效率。
  接口隔离原则：为不同的服务定义清晰且独立的接口，减少各服务间的耦合。
• 注意事项：
  在开发过程中使用本地模拟服务进行测试，确保 RPC 调用的稳定性。
  定义通用的错误处理机制，以便各个服务能够统一处理错误。

5、在api层注册rpc服务，调用rpc方法，对外提供接口

• api层配置svc，注册rpc客户端
• 调用rpc方法
• 返回restful api
• 最佳实践：
  API与RPC解耦：保证 API 层与 RPC 层之间的解耦，便于后期修改和扩展。
  服务发现：在微服务架构中，使用服务注册和发现机制（如 Consul 或 Nacos）来管理服务地址。
• 注意事项：
  在服务注册时确保服务的健康检查设置，及时发现并替换故障服务。
  关注 RPC 服务的性能监控，避免因服务调用导致的性能瓶颈。

6、生成接口文档

• 虽然goctl不直接支持生成swagger，但是goctl的插件支持。- goctl-swagger 通过 api 文件生成 swagger 文档
• 安装好goctl-swagger插件之后，我们就可以在api层的xxx.api同级目录下生成swagger了
• 参考命令如下：其中main.api是我在api层的desc目录中定义的，我们也在同级目录执行goctl命令即可：
• goctl api plugin -plugin goctl-swagger=“swagger -filename main.json” -api main.api -dir .
• 执行之后，就会出现如下图所示的main.json，这就是swagger文件
• 你可以直接使用swagger进行测试，也可以导入到其他工具中
• 注意事项：
  定期审查和维护接口文档，确保其准确性与时效性。
  对于较复杂的业务逻辑，提供详细的说明和使用场景，增强文档的可读性。

更多微服务开发最佳实践

• 项目结构管理-分层架构
  规范目录结构，遵循行业最佳实践，提供可预见的目录结构，方便团队协作，保持代码的清晰和可维护性
  避免将所有代码放在同一目录中，防止代码杂乱无章。注重模块之间的低耦合、高内聚设计。
  apis, etc, catch, gen, pkg, config, handle, logic, middleware, rpchelper, svc, types, pkg, convert, etcd, constvalue, util, test等等

• 错误处理与日志记录
  统一错误处理机制：定义通用的错误类型和处理函数，提高错误处理的可维护性。
  结构化日志：使用结构化日志工具（如 Logrus 或 Zap）来记录 API 调用和服务事件，便于后续分析。
  定期审查和分析日志，寻找潜在的性能瓶颈和异常。
  避免在生产环境记录敏感信息，确保日志安全。

• 安全性
  身份认证与授权：使用 JWT 或 OAuth 2.0 实现用户身份认证与授权，增强 API 的安全性。
  数据加密：保护敏感数据，包括数据库存储的敏感信息和 API 请求的传输安全。
  定期更新认证和授权机制，以适应新的安全威胁。
  关注服务间通讯的安全性，尤其是在多服务间的 RPC 调用中。

• 性能优化
  缓存策略：利用 Redis 等缓存机制来减轻数据库负担，提高数据访问速度。
  异步处理：使用消息队列（如 Kafka 或 RabbitMQ）处理不需要实时响应的任务，实现异步化。
  进行性能测试，确定程序瓶颈点并进行针对性优化。
  定期评估 Cache 的失效策略和更新机制，以避免缓存污染。

• 服务监控与运维
  监控和报警：使用 Prometheus 和 Grafana 等工具监控微服务的性能指标，并设置报警规则，以便实时响应。
  健康检查：实现定期健康检查，确保服务的可用性。
  监控数据的采集和存储应考虑存储成本和数据的清理策略。
  对于重要的服务，建议引入熔断和重试机制，以提升系统的鲁棒性。

• 持续集成与持续交付 (CI/CD)
  自动化测试：为 API 和 RPC 层编写单元测试和集成测试，确保代码质量。
  CI/CD 工具：使用 Jenkins、GitLab CI 或 GitHub Actions 等工具，实现代码的自动构建、测试和部署。
  保持 CI/CD 流程的可用性和高效性，定期审查构建和部署的效率。
  确保每次代码提交都能触发 CI 流程，及时反馈问题。

• 文档与知识共享
  维护开发文档：记录开发过程中遇到的问题及解决方案，形成知识库。
  代码评审：开展代码评审活动，促进团队成员间的学习和知识共享。
  定期更新文档，确保其与实际开发保持一致。
  鼓励团队成员共享经验与最佳实践，共同提升团队的整体水平

3、go-zero 文件上传问题优化

背景与问题

• 使用go-zero框架，在定义请求消息的时候默认没有支持file类型的types，1 2
• 项目实现不方便换成gin框架（成本高）
• request中body请求信息有一个参数需要file类型，用于支持上传文件的场景， 上传代码 1

api

type (
UploadFileReq {	}
UploadFileRes {Code int64 `json:"code"`Msg  string `json:"msg"`Data string `json:"data"`
}
service file-upload {@handler uploadFilepost /uploadFile (UploadFileReq) returns (UploadFileRes)
}

handler

func UploadFileHandler(svcCtx *svc.ServiceContext) http.HandlerFunc {return func(w http.ResponseWriter, r *http.Request) {// 解析表单fileData, handler, err := r.FormFile("file")if err != nil {httpx.Error(w, err)return}// 关闭文件数据defer fileData.Close()// 文件上传filename := handler.Filenamel := file.NewUploadFileLogic(r.Context(), svcCtx)resp, err := l.UploadFile(&fileData, filename)}
}

service

package fileimport ("encoding/csv""fmt""github.com/xuri/excelize/v2""io""log""mime/multipart""strings"
)func (l *UploadFileLogic) UploadFile(data *multipart.File, fileName string) (resp *types.UploadFileResp, err error) {// 上传对象存储ossConfig := l.svcCtx.Config.OssConfigfilePath := fmt.Sprintf("uploads/%s", fileName)err = file.UploadFile(*data, filePath, file.OssConfig{AccessKeyId:     ossConfig.AccessKeyId,AccessKeySecret: ossConfig.AccessKeySecret,BucketName:      ossConfig.BucketName,Endpoint:        ossConfig.Endpoint,BucketDoMan:     ossConfig.BucketDoMan,})if err != nil {l.Logger.Errorf("上传文件失败, err:%s", err.Error())return nil, err}// 解析文件内容fileType := strings.ToLower(fileName[strings.LastIndex(fileName, ".")+1:])switch fileType {case "csv":// 解析 CSV 文件csvData, err := l.parseCSVFile(*data)if err != nil {l.Logger.Errorf("解析 CSV 文件失败, err:%s", err.Error())return nil, err}l.Logger.Infof("解析到的 CSV 数据: %v", csvData)case "xlsx", "xls":// 解析 Excel 文件excelData, err := l.parseExcelFile(*data)if err != nil {l.Logger.Errorf("解析 Excel 文件失败, err:%s", err.Error())return nil, err}l.Logger.Infof("解析到的 Excel 数据: %v", excelData)default:return nil, fmt.Errorf("不支持的文件类型: %s", fileType)}// 构造返回值resp = &types.UploadFileResp{FilePath: filePath,FileName: fileName,}return resp, nil
}// 解析 CSV 文件
func (l *UploadFileLogic) parseCSVFile(file multipart.File) ([][]string, error) {reader := csv.NewReader(file)records, err := reader.ReadAll()if err != nil {return nil, fmt.Errorf("读取 CSV 文件失败: %w", err)}return records, nil
}// 解析 Excel 文件
func (l *UploadFileLogic) parseExcelFile(file multipart.File) ([][]map[string]string, error) {excel := excelize.NewFile()defer func() {if err := excel.Close(); err != nil {log.Printf("关闭 Excel 文件失败: %s", err.Error())}}()// 读取 Excel 文件内容err := excel.ImportFromReader(file)if err != nil {return nil, fmt.Errorf("导入 Excel 文件失败: %w", err)return parsedData, nil
}