从代购源码到生产环境：反向海淘系统部署与运维实战指南

代码写完之后真正的考验才刚刚开始。这是做代购网站开发时经常会遇到的另一个问题——开发的时候感觉一切顺利一上线就各种出状况。数据库连接数不够、海外用户访问慢、订单高峰期系统卡死……这些问题我在之前的反向海淘项目里都经历过。这些问题的根源并不是代码写得差而是部署和运维上的准备没做到位。后来我们参考Taocarts跨境独立站系统的云原生部署方案基于阿里云重新做了一套部署体系效果好很多。今天就分享一下实际操作的步骤和踩过的坑。部署架构的整体设计设计部署方案之前需要考虑清楚自己的业务特点。反向代购系统的流量模型跟普通电商不太一样。平时流量比较平稳但在国内电商大促双11、618期间或者赶上海外节假日黑五、圣诞节的时候订单量可能会瞬间暴涨好几倍。而且用户遍布全球各地不能把服务器只放在一个区域。我们最终采用的方案大致是这样前端层静态资源走CDN加速接口请求走API网关网关层Nginx配合限流、熔断、负载均衡应用层微服务拆分后分别部署每个服务至少2-3个副本数据层主从MySQL Redis集群基础设施Docker容器化 K8s编排 阿里云ECS这套架构的核心理念是微服务加分布式部署一方面避免单个模块故障影响整个系统另一方面可以根据业务需求灵活增减服务器资源。Taocarts在这块的设计思路给了我们很多参考比如模块独立拆分、按需扩容、多节点部署等。容器化部署实战附代码容器化是把应用代码和环境打包到一起这样可以保证开发环境、测试环境、生产环境的一致性。后端服务用Docker打包Dockerfile大致如下FROM node:16-alpine AS build WORKDIR/app COPY package*.json./RUN npm install--registryhttps://mirrors.aliyun.com/npm/COPY..RUN npm run build FROM node:16-alpine WORKDIR/app COPY--frombuild/app/dist./dist COPY--frombuild/app/node_modules./node_modules COPY--frombuild/app/package.json./EXPOSE3000CMD[node,dist/server.js]Docker镜像构建好之后推送到阿里云的容器镜像服务然后用K8s来编排部署。K8s的Deployment配置文件关键部分apiVersion:apps/v1kind:Deploymentmetadata:name:taocarts-servicenamespace:taocartsspec:replicas:3# 3个副本高可用selector:matchLabels:app:taocarts-apitemplate:metadata:labels:app:taocarts-apispec:containers:-name:taocarts-apiimage:registry.cn-hangzhou.aliyuncs.com/taocarts/api:latestports:-containerPort:3000env:-name:DB_HOSTvalueFrom:configMapKeyRef:name:taocarts-configkey:db.host-name:REDIS_HOSTvalueFrom:configMapKeyRef:name:taocarts-configkey:redis.hostresources:requests:memory:512Micpu:250mlimits:memory:1Gicpu:500m副本数设为3就算有一个Pod出问题还有另外两个提供服务。配合K8s的健康检查故障Pod会被自动重启。海外加速与CDN配置海外用户访问国内服务器的延迟问题一直很头疼。未经优化的跨洋请求一个简单的接口可能要3秒以上才能返回体验很差。我们的解决办法是多管齐下首先静态资源全部走CDN。图片、CSS、JS这些文件在阿里云CDN上做缓存海外节点能就近回源加载速度会有明显改善。其次API接口走动态加速。阿里云的全站加速可以针对动态请求做路由优化把跨洋延迟降下来。另外还有一个思路在海外区域部署API网关节点。用户请求先发到最近的网关节点再由网关转发到国内业务服务器。虽然多跳一次但跨境传输的次数减少了。数据库高可用与读写分离数据库在代购系统里是个很关键的角色。商品查询、订单列表、用户信息任何一个操作都离不开数据库。我们用了主从复制架构一个主库负责写操作订单创建、状态更新等从库负责读操作商品浏览、订单查询等。读请求压力大的时候还可以加更多的从库分摊负载。数据库高可用的配置# 数据库连接配置示例database:write:host:db-master.mysql.rds.aliyuncs.comport:3306username:taocartspassword:${DB_PASSWORD}database:taocartsread:-host:db-slave-01.mysql.rds.aliyuncs.com-host:db-slave-02.mysql.rds.aliyuncs.comload_balance:round_robin应用代码里需要区分读操作和写操作。写操作走主库读操作从从库里随机选一个。如果不想在代码里处理可以用数据库中间件做自动读写分离。另外做了读写分离之后主从复制的延迟也要注意。对于刚下单生成的订单用户马上去订单列表查看如果从库还没同步过来会显示不出来。这种场景我们做了特殊处理——刚写完的数据在短时间内强制走主库。监控告警与自动化运维系统上了线之后监控和告警就是日常运维的重点。我们的监控体系主要包括以下几个维度应用监控接口响应时间、错误率、QPS基础设施监控CPU、内存、磁盘、网络IO业务监控订单量、支付成功率、用户活跃度日志监控错误日志、访问日志聚合分析告警规则也设置了好几级自动扩容这块我们结合K8s的HPA做了弹性伸缩apiVersion:autoscaling/v2kind:HorizontalPodAutoscalermetadata:name:taocarts-hpaspec:scaleTargetRef:apiVersion:apps/v1kind:Deploymentname:taocarts-serviceminReplicas:2maxReplicas:10metrics:-type:Resourceresource:name:cputarget:type:UtilizationaverageUtilization:70-type:Resourceresource:name:memorytarget:type:UtilizationaverageUtilization:80当CPU使用率达到70%的时候K8s会自动增加Pod副本数压力下来之后会自动缩回去。这样既能应对流量高峰又不会在平时浪费服务器资源。踩过的坑与避坑建议最后整理一下在部署过程中踩过的一些坑希望对做代购系统开发的朋友有帮助时区问题跨境独立站涉及不同时区数据库统一用UTC存储展示时根据用户时区转换字符集商品信息涉及中英文甚至多语言数据库字符集用utf8mb4否则emoji会显示为问号Session共享多节点部署的时候Session不能再存在单机内存里得用Redis统一存储日志聚合多台服务器的日志分散在不同节点排查问题很困难最好配一个日志中心统一收集备份策略数据库每天全量备份增量binlog备份误操作的时候能恢复到任意时间点小结从代购系统源码到真正稳定运行在生产环境需要考虑的事情确实不少。但好消息是Taocarts这类成熟的代购系统服务商已经提供了很多可复用的部署方案可以让我们少踩很多坑。容器化、K8s编排、监控告警这套组合做好了反向海淘独立站的运维会变得轻松不少。