当前位置: 首页 > news >正文

记一次由于代码原因导致Mysql连接被打满和唯一索引重复问题

先说一下事情产生的背景:原先的代码逻辑是消费MQ,然后请求其他服务的接口,对接口的返回值result做落库操作,现在要新加个逻辑,做完落库操作后还要再将result封装落到新表中;即消费一次MQ(MQ消息的频率非常高),两个落库操作(一个是新表);但上线时发现mysql连接被打满了,然后通过自己公司的监控系统去排查,原先的落库操作A的QPS只有800左右,但新加的落库操作B却达到了4000+的QPS,直接翻了5倍,当时就懵了,看代码也没问题,代码伪逻辑如下:

1.获取MQ数据
2.MQ数据去请求其他服务接口,获取返回值
3.对返回值操作,落到原先的表
4.对返回值封装落到新表中,但问题就出现在这里了,因为落新表时不只是直接insert4.1: 先根据封装后的值查询一次代码,如果数据库已有数据就update4.2: 如果数据库没有数据,就insertif(queryByTeaId(查询字段teacherId) !=null){updateByTeaId(封装后的值和更新条件teacherId)}else{insert(封装后的值)	}

结果由于新表对于查询字段没有建立索引,且虽然是新表,但另一个离线任务一直在往里写着数据,已有的数据量已经非常大了
,导致报错:com.alibaba.druid.pool.GetConnectionTimeoutException,后来对表中字段teacherId加了唯一索引后,完美解决问题。

但后续又延伸出另一个问题:Mysql表中teacherId是设置的唯一索引,但由于是一直消费MQ,MQ消息中是studentId,会反查teacherId,所以多个消息可能对应的是同一个teacherId,但代码都懂得,多线程执行的,所以插入时,偶然在代码中报了唯一键重复的错误,由于文章时后面写的,具体报错没保存也懒的百度了,虽然是偶发事件,但还是得解决,本来想的是在代码中把查询、插入、更新的代码写带一个方法中,给这个方法加上@Transactional事务注解,但后来一想,多线程情况下,这也解决不了问题,但此业务又不是很重要,没必要用到分布式锁,所以后面从sql入手,使用ON DUPLICATE KEY UPDATE算是解决了多线程插入导致唯一键冲突的问题,如下:

-- teacher_id 设置的是唯一索引
insert into tableName name,age,sex,teacher_id values('zhangsan',18,1,1234) ON DUPLICATE KEY UPDATE name = 'lisi',
age = 19,sex = 0 ;

由于很少用ON DUPLICATE KEY UPDATE,所以我以为只会检查主键是否重复,特意去百度了下,介绍如下:

ON DUPLICATE key update是根据索引字段是否重复来判断是否执行,如果重复则执行update,否则则执行insert。

优先级主键>唯一索引
  • 当主键重复时则执行update
  • 当主键不重复,唯一索引重复时也执行update
  • 当主键和唯一索引值都不重复才执行insert

特殊情况,当主键重复执行update时,如果此时唯一索引字段与其他字段也重复则会报错

相关文章:

记一次由于代码原因导致Mysql连接被打满和唯一索引重复问题

先说一下事情产生的背景:原先的代码逻辑是消费MQ,然后请求其他服务的接口,对接口的返回值result做落库操作,现在要新加个逻辑,做完落库操作后还要再将result封装落到新表中;即消费一次MQ(MQ消息的频率非常高…...

redis数据类型之string,list

华子目录 key操作说明SCAN cursor [MATCH pattern] [COUNT count]dump与restorekeys 通配符 示例演示 string说明setbit key offset valuegetbit key offsetsetrange key offset value List结构图相关命令lrem key count valueltrim key count value示例:使用 LTRIM…...

Android android.os.DeadObjectException aidl通信异常分析及解决

问题描述 做一款音乐播放应用,播放服务是通过AIDL形式对外暴露,允许跨进程调用且多个App同时操作音乐播放,偶现android.os.DeadObjectException问题 12-15 09:28:12.371: W/System.err(5412): android.os.DeadObjectException 12-15 09:28:…...

dp + 计数,1954D - Colored Balls

一、题目 1、题目描述 2、输入输出 2.1输入 2.2输出 3、原题链接 Problem - 1954D - Codeforces 二、解题报告 1、思路分析 本题前置题目: 1953. 你可以工作的最大周数 通过前置题目可以知道如何计算两两不同数对序列的最大长度 我们记最大数量为ma&#xf…...

【设计模式深度剖析】【5】【结构型】【桥接模式】| 以电视和遥控器为例加深理解

👈️上一篇:组合模式 设计模式-专栏👈️ 目 录 桥接模式(Bridge Pattern)定义英文原话是:直译理解 4个角色UML类图代码示例 应用优点缺点使用场景 示例解析:电视和遥控器UML类图 桥接模式(Bridge Pattern) 定义 英文原话是&am…...

一键安装脚本sh

首先是初始化的ros安装的一些库; install.sh: execute_command() {if [ "$1" "1" ]; thenwget http://fishros.com/install -O fishros && bash fishroselif [ "$1" "2" ]; then#gnome-terminal --title"n…...

WebGL在医学成像方面的应用

WebGL(Web Graphics Library)是一种用于在Web浏览器中呈现3D和2D图形的JavaScript API。它被广泛应用于各种领域,包括医学成像。以下是WebGL在医学成像方面的应用及其详细描述。北京木奇移动技术有限公司,专业的软件外包开发公司&…...

SpringBoot+layuimini实现角色权限菜单增删改查(layui扩展组件 dtree)

角色菜单 相关组件方法效果图MySQL代码实现资源菜单树组件实现权限树方法js这里我先主要实现权限树的整体实现方法,如果是直接查看使用的话可以只看这里! 后端代码Controlle层代码Service代码及实现类代码Service代码ServiceImpl代码 resourceMapper 代码…...

项目范围管理

目录 1.概述 2.主要工作 3.基础 4.项目范围管理的过程 5.规划范围管理 6.收集需求 7.定义范围 8.创建 WBS 9.确认范围 10.控制范围 1.概述 项目范围管理是项目管理中的一个重要组成部分,涉及到确定项目需要完成的工作范围,以及如何管理和控制…...

监管端..

文章目录 1. 登录流程2. 日志AOP 1. 登录流程 使用账号(手机号)、密码、验证码。登录就是获取token的,输入的账号密码用RSA加密(非对称) 首先输入账号密码,在发送手机验证码时候先校验账号密码有没有输入…...

点击登录按钮先检测输入框的规则检测(vue组合式)

<template><el-form :model"user" :rules"rules" ref"loginForm" label-width"auto" style"max-width: 600px"><el-form-item label"用户名" prop"name"><el-input v-model"…...

网络工程师---第四十二天

1、基于子网的vlan划分配置步骤是什么&#xff1f; 2、基于端口的vlan划分配置步骤是什么&#xff1f; 3、基于MAC地址的vlan划分配置步骤是什么&#xff1f; 4、请简述无线局域网的组网方式有哪几种&#xff0c;区别是什么&#xff1f; 5、请简述堆叠、级联和集群作用和区别是…...

leetcode 1241每个帖子的评论数(postgresql)

需求 编写 SQL 语句以查找每个帖子的评论数。 结果表应包含帖子的 post_id 和对应的评论数 number_of_comments 并且按 post_id 升序排列。 Submissions 可能包含重复的评论。您应该计算每个帖子的唯一评论数。 Submissions 可能包含重复的帖子。您应该将它们视为一个帖子。…...

前端最新面试题(ES6模块篇)

目录 1 ES5、ES6和ES2015有什么区别? 2 babel是什么,有什么作用? 3 let有什么用,有了var为什么还要用let? 4 举一些ES6对String字符串类型做的常用升级优化? 5 举一些ES6对Array数组类型做的常用升级优化 6 举一些ES6对Number数字类型做的常用升级优化 7 举一些ES…...

STM32H750外设之ADC通道选择

目录 概述 1 通道选择功能介绍 2 通道选择&#xff08; SQRx、 JSQRx&#xff09; 2.1 通道复用 2.1.1 通道介绍 2.1.2 通道框图 2.2 转换分组 2.3 内部专用通道 3 通道预选寄存器 (ADCx_PCSEL) 3.1 功能介绍 3.2 预选通道寄存器 概述 本位主要介绍STM32H750外设之…...

【Unity2D 2022:Cinemachine】相机跟随与地图边界

一、导入Cinemachine工具包 1. 点击Window-Package Manager&#xff0c;进入包管理界面 2. 点击All&#xff0c;找到Cinemachine工具包&#xff0c;点击Install 二、相机跟随角色 1. 选中Main Camera&#xff0c;点击Component-Cinemachine-CinemachineBrain&#xff0c;新建…...

ssh远程连接的相关配置

连接同一个局域网下&#xff1a; 正好这里来理解一下计算机网络配置中的ip地址配置细节&#xff0c; inet 172.20.10.13: 这是主机的IP地址&#xff0c;用于在网络中唯一标识一台设备。在这个例子中&#xff0c;IP地址是172.20.10.13。 netmask 255.255.255.240: 这是子网掩码…...

在leafet上画圆、多边形、线、矩形

在leaflet上画圆、多边形、线、矩形 <template><div id"map" class"map"></div> </template><script> import L from leaflet; export default {data () {return {myGroup: ,};},mounted () {this.initMaps()this.huizhiro…...

SpringBoot中如何在服务器进行校验?

数据校验就是数据的合法性检查&#xff0c;在服务器端也可以对数据进行校验&#xff0c;一般使用JSR303 校验 JSR303是Java为Bean数据合法性校验提供的标准框架&#xff0c;是一种声明式校验 JSR303通过在Bean属性上标注类似于NotNull、Max等注解来指定校验规则&#xff0c;并…...

element ui 的el-input输入一个字后失去焦点,需重新点击输入框才能再次输入

解决方案&#xff1a; 我是form表单嵌套表格&#xff0c;里面的el-input输入框&#xff0c;输入第一个值的时候会突然失去焦点&#xff0c;需要再次点击输入框才能正常输入&#xff0c;原因是table的key值&#xff0c;需要改成正常的index即可&#xff0c;如果你是循环的&…...

3步彻底解决Windows更新后开始菜单重置难题:ExplorerPatcher深度解析与实战

3步彻底解决Windows更新后开始菜单重置难题&#xff1a;ExplorerPatcher深度解析与实战 【免费下载链接】ExplorerPatcher This project aims to enhance the working environment on Windows 项目地址: https://gitcode.com/GitHub_Trending/ex/ExplorerPatcher 每次Wi…...

【Sora 2批量视频生成黄金工作流】:实测吞吐提升4.8倍的关键配置——NVIDIA A100集群下每小时稳定输出217段1080p视频

更多请点击&#xff1a; https://codechina.net 第一章&#xff1a;Sora 2批量视频生成工作流全景概览 Sora 2作为新一代多模态视频生成模型&#xff0c;其批量处理能力依托于模块化、可编排的端到端工作流设计。该工作流融合提示工程、时空 latent 编码、分块并行解码与后处理…...

进程管理器大横评:从 PM2 到 Systemd 的选型与实战

一、为什么需要进程管理器&#xff1f; 在服务器运维的世界里&#xff0c;“进程管理器”&#xff08;Process Manager&#xff09;是一个看似基础却极其关键的角色。它的核心使命可以概括为&#xff1a;确保你的应用程序在服务器重启、进程崩溃、资源耗尽等意外情况下&#xf…...

FlashAttention 深度解读:让大模型注意力机制“一口气算完“

FlashAttention&#xff1a;让大模型注意力机制"一口气算完" 想象你在厨房做菜。冰箱在远处&#xff08;HBM&#xff0c;高带宽内存&#xff09;&#xff0c;料理台在面前&#xff08;SRAM&#xff0c;片上缓存&#xff09;。每次要切菜&#xff0c;都得走过去开冰箱…...

Flink 2.2集成Flink CDC 3.6

1 、部署Flink CDC tar -zxf flink-cdc-3.6.0-2.2-bin.tar.gz -C /usr/bigtop/3.3.0/usr/libln -s /usr/bigtop/3.3.0/usr/lib/flink-cdc-3.6...

AI Agent落地10大避坑指南:从白皮书到生产环境的工程真相

1. 这不是技术文档翻译&#xff0c;而是一次“工程师对产品经理”的现场拆解 你点开这篇标题&#xff0c;大概率是因为刚看到Google那篇《AI Agents: A Whitepaper on Principles, Capabilities, and Limitations》——PDF文件名长得像法律条文&#xff0c;开头三段全是“auton…...

Python爬虫中如何正确配置住宅IP代理?新手避坑指南

很多人买完住宅IP&#xff0c;配置半天还是报错、被封。本文手把手教你用Python正确接入住宅代理&#xff0c;附代码和常见问题解决。一、为什么你的代理配置总失败&#xff1f;常见的几种错误&#xff1a;协议用错&#xff1a;服务商给的SOCKS5&#xff0c;你却按HTTP方式配认…...

taotoken多模型聚合平台为matlab开发者提供稳定ai能力

&#x1f680; 告别海外账号与网络限制&#xff01;稳定直连全球优质大模型&#xff0c;限时半价接入中。 &#x1f449; 点击领取海量免费额度 taotoken多模型聚合平台为matlab开发者提供稳定ai能力 对于使用MATLAB进行数据分析、仿真建模或算法开发的工程师和研究人员而言&a…...

Unity拼图游戏商业级架构:零代码关卡+丝滑拖拽+真机性能优化

1. 这不是“拼图小游戏”&#xff0c;而是一套可量产的商业级益智游戏骨架你肯定见过那种上线三天就冲进App Store益智类前20的拼图游戏&#xff1a;首页是高清风景图轮播&#xff0c;点进去自动切分成16块带微动效的碎片&#xff0c;拖拽顺滑、吸附精准、完成时有粒子音效成就…...

汽车级MCU MSPM0G3505-Q1实战:从Cortex-M0+内核到CAN-FD与低功耗设计全解析

1. 从数据手册到实战&#xff1a;深度拆解MSPM0G3505-Q1这颗汽车级MCU最近在为一个车载传感节点做选型&#xff0c;要求很明确&#xff1a;成本敏感、功耗要低、模拟性能要强&#xff0c;还得过车规。翻了一圈&#xff0c;TI的MSPM0G3505-Q1进入了视线。说实话&#xff0c;第一…...