腾讯云架构师亲码“redis深度笔记”,从入门到精通,面面俱到
前言
作为这个时代码代码的秃头人员,对Redis肯定是不陌生的,如果连Redis都没用过,还真不好意思出去面试,指不定被面试官吊打多少次。
毕竟现在互联网公司和一些创业公司都要用到Redis,像亚马逊、谷歌、阿里、腾讯都要使用,可见精通Redis使用真的很有必要。
所以,今天则分享出腾讯云大神亲自码出的“redis深度笔记”,笔记内容没有讲一句废话,全篇看下来都是精华!
说明:文章限于篇幅,故只做部分展示,完整的文档 LZ 已经整理好了,需要获取这份学习笔记的小伙伴可以添加上小助手vx:bjmsb15获取
PART1:Redis深度笔记开篇
1.Redis可以用来做什么?
- 由Redis面试想到的
- Redis可以做什么?

2.Redis基础数据结构
- Redis安装
- Redis基础的数据结构
- 容器型数据结构的通用规则
- 关于Redis使用的一些思考

PART2:Redis的应用总结
1.分布式锁
- 分布式锁
- 超时问题
- 可重入性

2.延时队列
- 异步消息队列?
- 队列空了怎么办?
- 队列延迟
- 空闲连接自动断开
- 锁冲突处理
- 延时队列的实现
- 进一步优化

3.位图
- 基本使用
- 统计和查找
- 魔术指令 bitfield

4.HyperLogLog
- 使用方法
- pfadd这个pf是什么意思?
- pfmerge适合什么场合用?
- 注意事项
- HyperLogLog实现原理
- pf的内存占用为什么是12k?

5.布隆过滤器
- 布隆过滤器是什么?
- Redis中的布隆过滤器
- 布隆过滤器的基本使用
- 注意事项
- 布隆过滤器的原理
- 空间占用估计
- 实际元素超出时,误判率会怎样变化?
- 用不上Redis4.0怎么办?
- 布隆过滤器的其他应用

6.简单限流
- 如何使用Redis来实现简单限流策略?

7.漏斗限流
- Redis-Cell
- 一些思考

8.GeoHash
- 用数据库来算附近的人
- GeoHash算法
- Redis的Geo指令基本使用

9.Scan
- scan基础使用
- 字典的结构
- scan遍历顺序
- 字典扩容
- 对比扩容缩容前后的遍历顺序
- 渐进式rehash
- 更多的scan指令
- 大Key扫描

PART3:Redis的原理
1.线程IO模型
- 非阻塞IO
- 事件轮询(多路复用)
- 指令队列
- 响应队列
- 定时任务

2.通信协议
- RESP(Redis Serialization Protocol)
- 客户端->服务端
- 服务端->客户端

3.持久化
- 快照原理
- fork(多进程)
- AOF原理
- AOF重写
- fsync
- 运维
- Redis4.0混合持久化

4.管道
- Redis的消息交互
- 管道压力测试
- 深入理解管道本质

5.事务
- Redis事务的基本使用
- 原子性
- discard(丢弃)
- 优化
- Watch

6.PubSub
- 消息多播
- PubSub
- 模式订阅
- 消息结构
- PubSub缺点

7.小对象压缩
- 32bit vs 64bit
- 小对象压缩存储(ziplist)
- 内存回收机制
- 内存分配算法

8.主从同步
- CAP原理
- 最终一致
- 主从同步
- 增量同步
- 快照同步
- 增加从节点
- 无盘复制
- Wait指令

PART4:Redis集群
1.Sentinel
- 消息丢失
- Sentinel基本使用

2.Codis
- Codis分片原理
- 不同的Codis实例之间槽位关系如何同步?
- 扩容
- 自动均衡
- Codis的代价
- Codis的优点
- MGET指令的操作过程
- 架构变迁
- Codis的尴尬
- Codis的后台管理

3.Cluster
- 槽位定位算法
- 跳转
- 迁移
- 容错
- 网络抖动
- 可能下线(PFAIL-Possibly Fail)与确定下线(Fail)
- Cluster基本使用
- 槽位迁移感知
- 集群变更感知

PART5:Redis拓展
1.Stream
- 消息ID
- 消息内容
- 增删改查
- 独立消费
- 创建消费组
- 消费
- Stream消息太多怎么办?
- 消息如果忘记ACK会怎样?
- PEL如何避免消息丢失?
- Stream的高可用
- 分区Partition

http://2.Info指令
- Redis每秒执行多少次指令?
- Redis连接了多少客户端?
- Redisn内存占用多大?
- 复制积压缓存区多大?

3.再谈分布式锁
- Redlock算法
- Redlock使用场景

4.过期策略
- 过期的key集合
- 定时扫描策略
- 从库的过期策略

5.LRU
- LRU算法
- 近似LRU算法

6.懒惰删除
- Redis为什么要懒惰删除(lazy free)?
- flush
- 异步队列
- AOF Sync也很慢
- 更多异步删除点

7.优雅地使用Jedis
- 重试

8.保护Redis
- 指令安全
- 端口安全
- Lua脚本安全
- SSL代理

9.Redis安全通信
- spiped原理
- spiped使用入门

PART6:源码
1.探索字符串内部结构
- embstr vs raw
- 扩容策略

2.探索字典内部
- dict 内部结构
- 渐进式rehash
- 查找过程
- hash 函数
- hash攻击
- 扩容条件
- 缩容条件
- set的结构

3.探索压缩列表内部
- 增加元素
- 级联更新
- IntSet 小整数集合

4.探索快速列表内部
- 每个ziplist存多少元素?
- 压缩深度

5.探索跳跃列表内部结构
- 基本结构
- 查找过程
- 随机层数
- 插入过程
- 删除过程
- 更新过程
- 如果score值都一样呢?
- 元素排名是怎么算出来的?

6.探索紧凑列表内部
- 级联更新
- 取代ziplist

7.探索基数树内部
- 应用
- 结构
- 增删节点

总结
最后,我想说的是,学习并非难事,而贵在坚持,尤其是在我们参与工作之后,要继续坚持学习就更不容易了。但对于程序员来说,学习是立业之根本,如若放弃学习,被市场淘汰是迟早的事情。所以,学习更多新的知识对于自己来说才是一种更大的投资。
以上,到此结束。
相关文章:
腾讯云架构师亲码“redis深度笔记”,从入门到精通,面面俱到
前言 作为这个时代码代码的秃头人员,对Redis肯定是不陌生的,如果连Redis都没用过,还真不好意思出去面试,指不定被面试官吊打多少次。 毕竟现在互联网公司和一些创业公司都要用到Redis,像亚马逊、谷歌、阿里、腾讯都要…...
萌新应该如何开始学习走向自动化测试高薪岗位?
对于测试人员来说,不管进行功能测试还是自动化测试,还是性能测试,都是需要编写测试用例,所以我们必须先要了解清楚手工测试用例与自动化测试用例的一些特点,才能更好的开展自动化测试工作。1.1手工测试用例和自动化测试…...
-bash: pip: command not found
背景 这个错误的原因就是,我们的服务器上没有安装pip,装上就可以了,下面我们看一下centos中的解决方案 下载 wget https://bootstrap.pypa.io/get-pip.py 下载完成后如下图: 安装 安装的时候首先需要看一下自己的python是什…...
使用HTTP隧道代理,请求超过频率要怎么办?
在网上,经常会看到有人说使用隧道代理经常遇到429错误(请求超过频率),我们要如何解决这一问题呢?通常情况,优质的HTTP代理厂商隧道代理服务器采用的是高性能主机构建的动态IP代理服务器,是可以支…...
paddle 49 ODConv的可部署调整
ODConv是一种适用于轻量化模型的conv结构,可以在较少的参数下训练出多参数模型才能达到的精度,在相同的flop下可以稳定的涨2-3%个点。但是在paddle下部署ODConv动态卷积模型时会报出各种异常,导致模型无法转静态图或onnx格式(可能在pytorch下也是无法转换的)。为此研究ODC…...
C++ STL 学习之【string】
✨个人主页: Yohifo 🎉所属专栏: C修行之路 🎊每篇一句: 图片来源 The key is to keep company only with people who uplift you, whose presence calls forth your best. 关键是只与那些提升你的人在一起,…...
使用开源 MaxKey 与 APISIX 网关保护你的 API
1. Apache APISIX介绍 Apache APISIX 是 Apache 软件基金会下的云原生 API 网关,它兼具动态、实时、高性能等特点,提供了负载均衡、动态上游、灰度发布(金丝雀发布)、服务熔断、身份认证、可观测性等丰富的流量管理功能。我们可以…...
Linux之Xshell工具使用
shell简介Xshell是一个远程工具,可以远程连接linux系统 ,SSH,远程管理 Xshell来远程访问Linux系统的终端 。shell的英文含义是“壳”;它是相对于内核来说的,因为它是建立在内核的基础上,面向于用户的一种表…...
【数据结构与算法】时间复杂度与空间复杂度
目录 一.前言 二.时间复杂度 1.概念 二.大O的渐进表示法 概念: 总结: 三.常见时间复杂度计算举例 例1 例2 例3 例4 例5.计算冒泡排序的时间复杂度 例6.二分算法的时间复杂度 例7.阶乘递归Fac的时间复杂度 例8.斐波那契递归的时间复杂度 …...
Nginx如何配置Http、Https、WS、WSS的方法步骤
这篇文章主要介绍了Nginx如何配置Http、Https、WS、WSS的方法步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧 写在前面 当今互联网领域,Nginx是使…...
【博客621】iptables -J动作总结
iptables -J动作总结 1、iptables常见动作 ACCEPTDROPREJECTLOGSNATDNATMASQUERADEREDIRECT 2、iptables常见动作用法 2-1、ACCEPT: 作用:用于接收匹配的流量,使得流量继续往后面的规则和链路去匹配 2-2、DROP 作用:用于丢弃匹…...
Chrome开发者工具:利用网络面板做性能分析
Chrome 开发者工具(简称 DevTools)是一组网页制作和调试的工具,内嵌于 Google Chrome 浏览器中。 Chrome 开发者工具有很多重要的面板,比如与性能相关的有网络面板、Performance 面板、内存面板等,与调试页面相关的有…...
SpringCloud系列(十三)[分布式搜索引擎篇] - ElasticSearch 的概念及 Centos 7 下详细安装步骤
打开淘宝, 搜索 狂飙 会出现各种价格有关狂飙的书籍, 当然也有高启强同款的孙子兵法!!! 如下图所示: 那么面对海量的数据, 如何快速且准确的找到我们想要的内容呢? 淘宝界面已经可以按照综合排序 / 销量 / 信用 / 价格等进行筛选, 是如何做到的呢? ElasticSearch 11 Elastic…...
04_Docker 镜像和仓库
04_Docker 镜像和仓库 文章目录04_Docker 镜像和仓库4.1 什么是 Docker 镜像4.2 列出 Docker 镜像4.3 拉取镜像4.4 查找镜像4.5 构建镜像4.5.1 创建 Docker Hub 账号4.5.2 用 Docker 的 commit 命令创建镜像4.5.3 用 Dockerfile 构建镜像4.5.5 基于 Dockerfile 构建新镜像4.5.5…...
postman-enterprise-API
Postman 是一个用于构建和使用 API 的 API 平台。Postman 简化了 API 生命周期的每个步骤并简化了协作,因此您可以更快地创建更好的 API。 API存储库 在一个中央平台上围绕您的所有 API 工件轻松存储、编目和协作。Postman 可以存储和管理 API 规范、文档、工作流配…...
【ESP 保姆级教程】玩转emqx MQTT篇② ——保留消息和遗嘱消息
忘记过去,超越自己 ❤️ 博客主页 单片机菜鸟哥,一个野生非专业硬件IOT爱好者 ❤️❤️ 本篇创建记录 2023-02-18 ❤️❤️ 本篇更新记录 2023-02-18 ❤️🎉 欢迎关注 🔎点赞 👍收藏 ⭐️留言📝🙏 此博客均由博主单独编写,不存在任何商业团队运营,如发现错误,请…...
开启慢查询日志方法
步骤 开启慢查询日志 SET GLOBAL slow_query_log on;SHOW VARIABLES like slow_query_log;设置时间限制 SET GLOBAL long_query_time 1; -- 单位sSHOW VARIABLES LIKE %long_query_time%;因为long_query_time参数只对新的数据库连接生效,所以还需要重启msql客户端…...
宝塔搭建实战人才求职管理系统admin前端vue源码(二)
大家好啊,我是测评君,欢迎来到web测评。 上一期给大家分享骑士cms后台端在宝塔的搭建部署方式,这套系统是前后端分离的架构,前端是用vue2开发的,还需要在本地打包手动发布上宝塔,所以本期给大家分享&#x…...
SpringMVC——基础知识
基本概念 SpringMVC是基于servlet api构造的原始web框架,全称是Spring Web MVC 而MVC的全称是Model View Controller,翻译成中文分别是“模型”,“视图”,“控制器”,这是一种软件的架构模式 Model:用来…...
论文浅尝 | SpCQL: 一个自然语言转换Cypher的语义解析数据集
笔记整理:郭爱博,国防科技大学博士论文发表会议:The 31th ACM International Conference on Information and Knowledge Management,CIKM 2022动机随着社交、电子商务、金融等行业的快速发展,现实世界编织出一张庞大而…...
基于STM32HAL库的平衡小车设计(二)--CubeMX配置说明
项目开源链接 本项目资料完全开源。资料包获取方式: github : https://github.com/snqx-lqh/ProjectReleasePage gitee(国内镜像) :https://gitee.com/snqx-lqh/ProjectOpenSourceReleasePage。 项目属于 32 的编号 B005 ,在发…...
3步实现智能自动化:三月七小助手如何每天为你节省90分钟游戏时间?
3步实现智能自动化:三月七小助手如何每天为你节省90分钟游戏时间? 【免费下载链接】March7thAssistant 崩坏:星穹铁道全自动 三月七小助手 项目地址: https://gitcode.com/gh_mirrors/ma/March7thAssistant 你是否每天花费大量时间在《…...
AI智能体如何通过区块链钱包实现自动化加密云存储
1. 项目概述:当AI智能体遇上加密云存储如果你正在使用OpenClaw这类AI智能体平台,并且头疼于如何让它们自动、安全地处理云端数据——比如备份对话记录、上传生成的文件,或者管理需要付费的API服务——那么你很可能需要一个既懂区块链支付、又…...
AI编码助手安全护栏:Claude代码生成规则引擎实战指南
1. 项目概述:为AI编码助手装上“护栏”最近在折腾AI辅助编程,特别是用Claude这类大模型来写代码,效率提升确实明显。但用久了就会发现一个问题:模型生成的代码,有时候会“放飞自我”。比如,它可能会引入一些…...
【领域驱动设计 开篇】零 来源及学习路径
DDD是什么 2003 年,Eric Evans 写了《领域驱动设计:软件核心复杂性应对之道》一书,正式提出了这种方法。领域驱动设计的英文是 Domain-Driven Design,简称 DDD。 按照作者自己的说法,“DDD 是一种开发复杂软件的方法”…...
Go语言CLI工具服务化:基于JSON-RPC的进程间通信与自动化集成
1. 项目概述与核心价值最近在折腾一些自动化流程和跨平台脚本时,遇到了一个挺有意思的需求:如何让一个用Go语言写的、功能强大的命令行工具,能够被其他语言(比如Python、Node.js)或者更上层的应用(比如Web界…...
Arm生命周期管理器(LCM)架构与安全供应实战解析
1. Arm生命周期管理器(LCM)架构解析生命周期管理器(Lifecycle Manager)是Arm安全架构中的核心安全子系统,负责管理芯片从生产到报废全生命周期的安全状态。我在多个物联网安全芯片项目中验证过,LCM的设计直接影响设备的抗攻击能力和密钥管理可靠性。1.1 …...
联想拯救者15ISK加装NVMe SSD实战:从硬件兼容到系统部署的避坑指南
1. 联想拯救者15ISK加装NVMe SSD前的准备工作 我手上这台联想拯救者15ISK已经陪伴我征战了五年多,最近明显感觉到系统响应变慢,游戏加载时间变长。经过一番排查,发现瓶颈主要出在机械硬盘上。于是决定给它加装一块NVMe SSD,让老战…...
Kubernetes部署Dify AI平台:从Docker Compose到K8s原生YAML完整迁移指南
1. 项目概述与核心价值最近在折腾AI应用开发平台,发现Dify这个工具确实挺有意思,它把大模型应用开发的门槛降得很低。不过,官方主要提供了Docker Compose的部署方式,对于已经将生产环境全面容器化、并且用上了Kubernetes的团队来说…...
告别混乱!用这3张图理清AUTOSAR BSW模块的层级与依赖关系
告别混乱!用这3张图理清AUTOSAR BSW模块的层级与依赖关系 在汽车电子系统开发中,AUTOSAR架构的复杂性常常让开发者陷入模块关系的迷宫。当你面对几十个BSW(基础软件)模块时,是否经常困惑于它们究竟属于哪个层级&#x…...
