前车之鉴,后车之师
问题 | 分类 | 具体解释 | 可能导致的后果 | 解决方法 | 备注 | |
---|---|---|---|---|---|---|
主从延迟 | 数据库 | 写后立即读的场景,比如订单落地成功抛消息,消息接收方再读订单推订单中心、发触达、落地数据等场景,再读数据时走从库,可能读不到数据。 | 脏数据业务逻辑有问题 | 延迟消费。方案简单,但无法保证彻底解决。强制走主库。底层服务提供方需要注意,强制走主库的逻辑要收口,主库不能被拉挂。 | 收口的意思是只是部分的appkey允许走主库?需要告知提供方走主库的需求 | |
水平越权 | 业务逻辑 | 如果未进行数据权限校验,则可能会出现A用户能看到B用户数据的场景,会造成严重的数据泄漏。如订单详情页把订单ID参数改一下,就可以看到别人的订单。 | 数据泄漏 | 所有私密数据的访问,都需要做水平越权防护,而且用来校验的ID来源一定要是前端Token解析出来的,而不是直接传的。 | 根据id查询用户信息、poi信息等隐私数据时,不能根据前端传递来的参数就直接rpc查询,需要向kms申请权限校验。即获取司机手机号,获取的加密后的token。需要解密才能拿到具体的手机号 | |
表情符号支持 | 数据库 | 如果数据库charset为utf8,则不支持字符串中的表情符号 | 插入数据失败 | 数据库charset改为utf8mb4。插入数据库时做过滤。 | ||
长度截断 | 数据库 | 备注之类的字符串字段,一般建表语句会限制长度,偶尔有某些数据超过了长度限制,插入时会被截断。虽然可能有些业务前端会做一些拦截,但并不能保证所有的地方都会有。 | 数据丢失 | 建表时字段选长点,但该方法不能真正完全解决问题。插入数据前手工数据截断,但数据一致性要求不高,但数据不能丢的场景适用,如插入新客资。接口进来时检查长度,过长向前端提示错误。无论何种处理方法,都不应该有数据库截断异常抛出来。 | 1.字段设计的时候,长度要限制住2.接口进来时检查长度,过长向前端提示错误区别list过大,插入数据库存在性能问题,需要list.partion截断 | |
Limit深分页 | 数据库 | 全量向外部同步数据的场景,有时会写代码根据查询条件并limit,但如果limit到最后可能会出现慢查询。 | 慢查询 | 不要使用limit,使用主键,每次查询的时候都主键id>上次返回的主键id即可。 | criteria.andIdGreaterThan*(id)* | |
消息重复 | 消息组件 | 一般的消息中间件,比如Kafka,会保证消息的必达性,但不会保证消息的唯一性,有可能消息会被重复消费。 | 脏数据逻辑重复执行 | 底层接口支持幂等。这个要注意,但凡是监听消息做某事的,逻辑一定要能幂等。 | 使用分布式redi将key比如orderId记录在redis中实现幂等疑惑:分布式系统,redis存入了,别的微服务能拿到对应的key-val么 | |
MapiGet重复请求 | 前端相关 | mapi接口如果是Get请求,客户端如果请求超时的话会发起重复请求的,这样后端可能就会连续收到两次请求,导致重复处理。 | 逻辑重复执行 | 写逻辑使用Post协议,否则一定要考虑好幂等问题。 | ||
强流程型业务中断无重试 | 业务逻辑 | 审核等强流程型的业务,中间某一步执行失败无重试、告警、定时扫描等处理,导致失败的流程永远无法再执行,如一直处于审核中。 | 业务流程问题,引起ASK | 强流程型业务失败接入Redo重试。流程失败时打告警。定时扫描失败的业务数据,如超期审核中的数据。 | 1.可以将失败的key发送至队列中,定时消费一下2.swan异步重试机制 | |
链接配置HTTPS | 前端相关 | 目前iOS限制链接都要为HTTPS,且公司各平台也都支持了HTTPS,在各种地方配置链接,如前端页面链接、触达跳转链接、推送订单中心链接等,都要配置HTTPS而不是HTTP。 | 全业务不可用,页面打不开 | 配置场景的链接一定要为HTTPS,如果一定要走HTTP,要有充足的理由并且要做说明。 | ||
类静态变量不要被修改 | 代码相关 | 有时我们会在Bean里面定义一些做为常量使用的静态变量,该静态变量如果是个对象,而业务代码中去修改该对象的内容,会导致不同请求的内容串掉。 | 业务脏数据 | 静态变量不要被修改。静态变量一般应该是基础类型,对象类型的可以考虑每次new一个。 | 共享变量只能读,不要写 | |
重复数据提交 | 并发控制 | 分布式场景,添加数据时,如果依赖查询是否有数据然后在做业务逻辑,比如插入,预约频次限制,强走主库没有作用,需要分布式锁控制,数据锁等手段 | 业务脏数据 | 大流量分布式锁做校验(推荐)小流量,影响数据行数少的情况,数据库锁一些场景采用重复提交校验组件 | 1.小流量使用乐观锁2.大流量使用redis分布式锁、zk分布式锁(t1、t2查询发送给供应商的消息时候都不存在,所有都可以执行insert,t1执行了insert,t2执行相同的insert语句的时候会抛出异常么?) | |
事务提交(写场景) | 高并发 | 同一个逻辑代码,如果采用了事务,事务存在先查后做逻辑判断的场景,高并发情况下需要考虑事务的可见性,未提交的事务在例外一个机器上是不可见的。由于不可见可能导致重复插入,逻辑判断错误等异常情况 | 业务脏数据 | 1.队列技术,kafka 按照ID 路由同一个partition,消费单线程处理(同一个供应商的msg,发送到同一个partion中,有序的消费)2.分布式控制3.数据库排他锁 | ||
关键业务异常,增加异常处理重试 | 可用性 | 如果触达或者客资服务突然完全不可用了,是否有最快的办法解决丢失的流量,回放流量问题 | 服务异常时间过长,服务不可用 | 1.方案设计可以采用WAH 思路,先记录消息。比如kafaka 消息等形式。 | ||
SimpleDateFormat 非线程安全 | 代码相关 | 不要在多线程情况下用SimpleDataFormat ,容易导致异常 | 业务异常 | 1.线程新建,不要共享此变量2.使用LocalDateTime工具类。 | 使用LocalDate类 | |
SimpleDateFormat格式化错误 | 代码相关 | 格式化YYYY是指基于周的年,所以2020-12-31这一天所在的周已经是2021年,所以使用YYYY-MM-dd格式化的时候会变成2021-12-31,这个只有一年最后一周才可能会出问题,极其隐蔽。另外DD指的是一年中的第几天,dd指的是一月中的第几天 | 业务异常 | 一般情况下应该使用yyyy及dd,不要使用大写的。LocalDateTime,放弃老式时间格式化类 | 使用LocalDate类 | |
时间边界问题 | 代码相关 | 前端向后端传的筛选条件如果为时间类型,比如按日期筛选订单,则可能只传了2021-01-01及2021-01-10,后端如果直接将OrderDate与这两个时间判断,可能2021-01-10的数据就筛选不出来。 | 业务异常 | 最后一天的日期在转化为时间戳时,要转化为当天的23:59:59,而不是00:00:00 | 01-01 00:00:00 - 01-02 00:00:0001-09 00:00:00 -01-10 00:00:0001-10 00:00:00 - 01-11 00:00:00这样10的数据也能覆盖 | |
价格数据类型 | 代码相关 | 1.使用浮点表示价格会有精度问题。2.使用整型表示价格,单位要统一,否则有些为元,有些分分,不对齐可能会有单位错误。 | 资损 | 统一使用整型,以分为单位,上下游接口沟通注意对齐。 | 1元 = 100分1.2元 = 120分遇到时,具体内容要学习他人代码或网上搜一下 | |
MySQL updatetime字段 | 数据库、代码相关 | 建表的时候必须设置该字段,并且设置更新赋值。同时,再做变更时注意updatetime字段会被同步更新。 | 排查问题时为了缩小范围,往往会有updatetime字段进行限制,如果没有更新会影响排查过程。 | 建表的时候指定更新时变更更新数据时,保证updatetime字段被更新 | updatetime字段的类型要注意 change_at datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间', |
相关文章:
前车之鉴,后车之师
问题分类具体解释可能导致的后果解决方法备注主从延迟数据库写后立即读的场景,比如订单落地成功抛消息,消息接收方再读订单推订单中心、发触达、落地数据等场景,再读数据时走从库,可能读不到数据。脏数据业务逻辑有问题延迟消费。…...

WEB使用VUE3实现地图导航跳转
我们在用手机查看网页时可以通过传入经纬度去设置目的地然后跳转到对应的地图导航软件,如果没有下载软件则会跳转到下载界面 注意: 高德地图是一定会跳转到一个新网页然后去询问用户是否需要打开软件百度和腾讯地图是直接调用软件的这个方法有缺陷&…...

今天聊一聊高性能系统架构设计是什么样的
Java全能学习面试指南:https://javaxiaobear.cn 今天聊一聊大家常听到的高性能系统架构。 高性能系统架构,主要包括两部分内容,性能测试与性能优化。性能优化又可以细分为硬件优化、中间件优化、架构优化及代码优化,知识架构图如…...

鼠标不动了怎么办?3招解决问题!
“这是怎么回事呢?我的鼠标怎么会用着用着就突然不动了呢?现在有一些比较重要的工作要处理。请问有什么方法可以快速解决这个问题吗?” 随着电脑在我们日常生活和工作中的广泛应用,鼠标是我们操作电脑不可或缺的工具之一。但是&am…...
2023-09-23力扣每日一题
链接: 1993. 树上的操作 题意 **Lock:**指定用户给指定节点 上锁 ,上锁后其他用户将无法给同一节点上锁。只有当节点处于未上锁的状态下,才能进行上锁操作。**Unlock:**指定用户给指定节点 解锁 ,只有当…...

C#中使用Newtonsoft.Charp实现Json对象序列化与反序列化
场景 C#中使用Newtonsoft.Json实现对Json字符串的解析: C#中使用Newtonsoft.Json实现对Json字符串的解析_霸道流氓气质的博客-CSDN博客 上面讲的对JSON字符串进行解析,实际就是JSON对象的反序列化。 在与第三方进行交互时常需要封装对象,…...
Golang开发--互斥锁和读写锁
互斥锁(Mutex) 互斥锁(Mutex)是一种并发控制机制,用于保护共享资源的访问。互斥锁用于确保在任何给定时间只有一个 goroutine(Go 语言中的并发执行单元)可以访问被保护的共享资源,从…...
Springboot 集成WebSocket作为客户端,含重连接功能,开箱即用
使用演示 public static void main(String[] args) throws Exception{//初始化socket客户端BaseWebSocketClient socketClient BaseWebSocketClient.init("传入链接");//发送消息socketClient.sendMessage("填写需要发送的消息", (receive) -> {//这里…...
java调整字符串
package 字符串练习;public class 调整字符串 {/* 如果调整成功则给提示,返回不成功也给提示调整 例如:abcde -> bcdea -> cdeab 就是把第一个值放到最后的位置上现在是给定两个字符串, 选定其中一个进行调整, (我们想一下,如果调整字符串的长度次,那不就是返回到原来的字…...

2023-9
内核向应用层发送netlink单播消息: nlmsg_unicast -> netlink_unicast -> netlink_sendskb -> __netlink_sendskb -> 把skb链入struct sock 的 sk_receive_queue 链表中,再调用sk->sk_data_ready(sk); -> sock_def_readable -> wak…...

软考高级+系统架构设计师教程+第二版新版+电子版pdf
注意!!! 系统架构设计师出新版教程啦,2022年11月出版。所以今年下半年是新版第一次考试,不要再复习老版教程了,内容改动挺大的。 【内容简介】系统架构设计师教程(第2版)作为全国计…...

【产品运营】如何提升B端产品竞争力(下)
“好产品不是能力内核,做好产品的流程才是” 一、建立需求池和需求反馈渠道 需求池管理是B端产品进化最重要的环节,它的重要性远超产品设计、开发等其他环节。 维护需求池有主动和被动两种。 主动维护是产品经理在参与售前、迭代、交付、售后、竞品分…...
uniapp 微信小程序使用echarts
本文目的:通过分包的方式,尽可能在微信小程序中使用最新的echarts。 当然你也可以直接使用现成的uchart或者市场里别人封好的echarts. 准备工作 下载echarts-for-weixin源码。 复制ec-canvas文件夹以及下属文件,在uniapp项目中与pages同级的地…...

【漏洞复现】企望制造 ERP命令执行
漏洞描述 由于企望制造 ERP comboxstore.action接口权限设置不当,默认的配置可执行任意SQL语句,利用xp_cmdshell函数可远程执行命令,未经认证的攻击者可通过该漏洞获取服务器权限。 免责声明 技术文章仅供参考,任何个人和组织…...

2023 “华为杯” 中国研究生数学建模竞赛(E题)深度剖析|数学建模完整代码+建模过程全解全析
问题一 血肿扩张风险相关因素探索建模 思路: 根据题目要求,首先需要判断每个患者是否发生了血肿扩张事件。根据定义,如果后续检查的血肿体积比首次检查增加≥6 mL或≥33%,则判断为发生了血肿扩张。 具体判断步骤: (1) 从表1中提取每个患者的入院首次影像检查…...

【腾讯云国际站】CDN内容分发网络特性介绍
为什么使用腾讯云国际站 CDN 内容分发网络? 当用户直接访问源站中的静态内容时,可能面临的体验问题: 客户离服务器越远,访问速度越慢。客户数量越多,网络带宽费用越高。跨境用户访问体验较差。 腾讯云国际站CDN 如何改…...

【工业机器人视觉】
工业机器人视觉 工业机器人的定位、抓取任务是工业生产线上一项重要的应用,一般通过预先示教的方式让机器人执行预定的指令动作。但是,一旦工件的状态发生改变时,机器人便无法完成工作任务。区别:就像人睁眼走直线和闭眼走直线。…...
跨域(浏览器)
跨域问题 是前端开发中常遇到的一个挑战。由于浏览器的同源策略限制,前端在发起异步请求时会受到限制,只能向相同源(域名、协议和端口号都相同)的服务器发送请求。当请求的目标服务器与当前页面的源不一致时,就会触发…...
Leetcode 2866. Beautiful Towers II
Leetcode 2866. Beautiful Towers II 1. 解题思路2. 代码实现 题目链接:2866. Beautiful Towers II 1. 解题思路 这一题其实思路上还是比较明显的,就是一个单调数组的问题,问题在于说如果具体去设计这个单调数组。 我们从题目出发&#x…...

电脑C盘爆红怎么办?(小白篇)
文章目录 前言:1、清理临时和系统文件2、更改电脑默认软件安装位置3、微信、QQ文件存储路径放在其它盘4、卸载一些不常用的软件彩蛋 前言: C盘作为电脑的系统盘,如果出现爆满或者剩余空间很小整个C盘变红,这样会导致电脑系统运行…...

相机Camera日志实例分析之二:相机Camx【专业模式开启直方图拍照】单帧流程日志详解
【关注我,后续持续新增专题博文,谢谢!!!】 上一篇我们讲了: 这一篇我们开始讲: 目录 一、场景操作步骤 二、日志基础关键字分级如下 三、场景日志如下: 一、场景操作步骤 操作步…...
在Ubuntu中设置开机自动运行(sudo)指令的指南
在Ubuntu系统中,有时需要在系统启动时自动执行某些命令,特别是需要 sudo权限的指令。为了实现这一功能,可以使用多种方法,包括编写Systemd服务、配置 rc.local文件或使用 cron任务计划。本文将详细介绍这些方法,并提供…...
【git】把本地更改提交远程新分支feature_g
创建并切换新分支 git checkout -b feature_g 添加并提交更改 git add . git commit -m “实现图片上传功能” 推送到远程 git push -u origin feature_g...

Ascend NPU上适配Step-Audio模型
1 概述 1.1 简述 Step-Audio 是业界首个集语音理解与生成控制一体化的产品级开源实时语音对话系统,支持多语言对话(如 中文,英文,日语),语音情感(如 开心,悲伤)&#x…...

多种风格导航菜单 HTML 实现(附源码)
下面我将为您展示 6 种不同风格的导航菜单实现,每种都包含完整 HTML、CSS 和 JavaScript 代码。 1. 简约水平导航栏 <!DOCTYPE html> <html lang"zh-CN"> <head><meta charset"UTF-8"><meta name"viewport&qu…...

图表类系列各种样式PPT模版分享
图标图表系列PPT模版,柱状图PPT模版,线状图PPT模版,折线图PPT模版,饼状图PPT模版,雷达图PPT模版,树状图PPT模版 图表类系列各种样式PPT模版分享:图表系列PPT模板https://pan.quark.cn/s/20d40aa…...

接口自动化测试:HttpRunner基础
相关文档 HttpRunner V3.x中文文档 HttpRunner 用户指南 使用HttpRunner 3.x实现接口自动化测试 HttpRunner介绍 HttpRunner 是一个开源的 API 测试工具,支持 HTTP(S)/HTTP2/WebSocket/RPC 等网络协议,涵盖接口测试、性能测试、数字体验监测等测试类型…...

Razor编程中@Html的方法使用大全
文章目录 1. 基础HTML辅助方法1.1 Html.ActionLink()1.2 Html.RouteLink()1.3 Html.Display() / Html.DisplayFor()1.4 Html.Editor() / Html.EditorFor()1.5 Html.Label() / Html.LabelFor()1.6 Html.TextBox() / Html.TextBoxFor() 2. 表单相关辅助方法2.1 Html.BeginForm() …...
作为测试我们应该关注redis哪些方面
1、功能测试 数据结构操作:验证字符串、列表、哈希、集合和有序的基本操作是否正确 持久化:测试aof和aof持久化机制,确保数据在开启后正确恢复。 事务:检查事务的原子性和回滚机制。 发布订阅:确保消息正确传递。 2、性…...

数据结构:递归的种类(Types of Recursion)
目录 尾递归(Tail Recursion) 什么是 Loop(循环)? 复杂度分析 头递归(Head Recursion) 树形递归(Tree Recursion) 线性递归(Linear Recursion)…...