解密Redis:应对面试中的缓存相关问题2
面试官:Redis集群有哪些方案,知道嘛?
候选人:嗯~~,在Redis中提供的集群方案总共有三种:主从复制、哨兵模式、Redis分片集群。
面试官:那你来介绍一下主从同步。
候选人:嗯,是这样的,单节点Redis的并发能力是有上限的,要进一步提高Redis的并发能力,可以搭建主从集群,实现读写分离。一般都是一主多从,主节点负责写数据,从节点负责读数据。主节点写入数据之后,需要把数据同步到从节点中。
面试官:能说一下,主从同步数据的流程。
候选人:嗯~~,好!主从同步分为了两个阶段,一个是全量同步,一个是增量同步。全量同步是指从节点第一次与主节点建立连接的时候使用的同步方式。
第一:从节点请求主节点同步数据,其中从节点会携带自己的replication id和offset偏移量。
第二:主节点判断是否是第一次请求,主要判断的依据就是,主节点与从节点是否是同一个replication id,如果不是,就说明是第一次同步,那主节点就会把自己的replication id和offset发送给从节点,让从节点与主节点的信息保持一致。
第三:同时主节点会执行bgsave,生成rdb文件后,发送给从节点去执行,从节点先把自己的数据清空,然后执行主节点发送过来的rdb文件,这样就保持了一致。当然,如果在rdb生成执行期间,依然有请求到了主节点,主节点会以命令的方式记录到缓冲区,缓冲区是一个日志文件,最后把这个日志文件发送给从节点,这样就能保证主节点与从节点完全一致了,后期再同步数据的时候,都是依赖于这个日志文件,这个就是全量同步。
增量同步指的是,当从节点服务重启之后,数据就不一致了,所以这个时候,从节点会请求主节点同步数据。主节点还是判断不是第一次请求,不是第一次就获取从节点的offset值,然后主节点从命令日志中获取offset值之后的数据,发送给从节点进行数据同步。
面试官:怎么保证Redis的高并发高可用?
候选人:首先可以搭建主从集群,再加上使用Redis中的哨兵模式。哨兵模式可以实现主从集群的自动故障恢复,里面就包含了对主从服务的监控、自动故障恢复、通知。如果master故障,Sentinel会将一个slave提升为master。当故障实例恢复后也以新的master为主。同时Sentinel也充当Redis客户端的服务发现来源,当集群发生故障转移时,会将最新信息推送给Redis的客户端,所以一般项目都会采用哨兵的模式来保证Redis的高并发高可用。
面试官:你们使用Redis是单点还是集群,哪种集群?
候选人:嗯!,我们当时使用的是主从(1主1从)加哨兵。一般单节点不超过10G内存,如果Redis内存不足则可以给不同服务分配独立的Redis主从节点。尽量不做分片集群,因为集群维护起来比较麻烦,并且集群之间的心跳检测和数据通信会消耗大量的网络带宽,也没有办法使用lua脚本和事务。
面试官:Redis集群脑裂,该怎么解决呢?
候选人:嗯! 这个在项目很少见,不过脑裂的问题是这样的,我们现在用的是Redis的哨兵模式集群的。
有的时候由于网络等原因可能会出现脑裂的情况,就是说,由于Redis master节点和Redis slave节点和Sentinel处于不同的网络分区,使得Sentinel没有能够心跳感知到master,所以通过选举的方式提升了一个slave为master,这样存在了两个master,就像大脑分裂了一样,这样会导致客户端还在old master那里写入数据,新节点无法同步数据。当网络恢复后,Sentinel会将old master降为slave,这时再从新master同步数据,这会导致old master中的大量数据丢失。
关于解决的话,我记得在Redis的配置中可以设置:第一可以设置最少的slave节点个数,比如设置至少要有一个从节点才能同步数据。第二个可以设置主从数据复制和同步的延迟时间,达不到要求就拒绝请求,就可以避免大量的数据丢失。
面试官:Redis的分片集群有什么作用?
候选人:分片集群主要解决的是,海量数据存储的问题,集群中有多个master,每个master保存不同数据,并且还可以给每个master设置多个slave节点,就可以继续增大集群的高并发能力。同时,每个master之间通过ping监测彼此健康状态,就类似于哨兵模式了。当客户端请求可以访问集群任意节点,最终都会被转发到正确节点。
面试官:Redis分片集群中数据是怎么存储和读取的?
候选人:嗯~,在Redis集群中是这样的,Redis集群引入了哈希槽的概念,有16384个哈希槽。集群中每个主节点绑定了一定范围的哈希槽范围,key通过CRC16校验后对16384取模来决定放置哪个槽,通过槽找到对应的节点进行存储。
取值的逻辑是一样的,客户端请求通过CRC16校验后对16384取模,找到对应的槽所在的节点,从而进行数据读取。
面试官:Redis是单线程的,但是为什么还那么快?
候选人:嗯,这个有几个原因。首先,Redis是完全基于内存的,C语言编写,内存的读写速度非常快,使得Redis具有极高的读写性能。其次,Redis采用单线程,避免了不必要的上下文切换和竞争条件,提高了处理效率。此外,Redis使用多路I/O复用模型,非阻塞IO,能够在等待一个Socket的同时监听多个Socket,充分利用CPU资源,提高了网络处理性能。例如,bgsave和bgrewriteaof都是在后台执行操作,不影响主线程的正常使用,不会产生阻塞。这些因素共同作用使得Redis在单线程下仍然能够表现出优异的性能。
面试官:能解释一下I/O多路复用模型?
候选人:嗯~~,I/O多路复用是指利用单个线程来同时监听多个Socket,并在某个Socket可读、可写时得到通知,从而避免无效的等待,充分利用CPU资源。目前的I/O多路复用都是采用的epoll模型实现,它会在通知用户进程Socket就绪的同时,把已就绪的Socket写入用户空间,不需要挨个遍历Socket来判断是否就绪,提升了性能。
其中,Redis的网络模型就是使用I/O多路复用结合事件的处理器来应对多个Socket请求。例如,提供了连接应答处理器、命令回复处理器,命令请求处理器。在Redis6.0之后,为了提升更好的性能,在命令回复处理器使用了多线程来处理回复事件,在命令请求处理器中,将命令的转换使用了多线程,增加命令转换速度,在命令执行的时候,依然是单线程。这样的设计使得Redis在单线程下依然能够处理高并发的请求,保证了其快速的响应速度。
面试官:非常好的解释!继续往下问,Redis主从同步的时候,是否存在数据丢失的风险?
候选人:在主从同步的过程中,确实存在数据丢失的风险。主从同步分为全量同步和增量同步两个阶段。
全量同步是在从节点第一次与主节点建立连接时使用的同步方式。主节点会将自己的数据发送给从节点,保持两者的数据一致。但是在全量同步期间,如果主节点接收到了新的写入请求,这些写入请求会被记录到缓冲区(命令缓冲区或复制缓冲区)中。如果此时主节点宕机,那么缓冲区中的数据会丢失,从节点只能从头开始进行全量同步,可能会丢失部分数据。
增量同步是在从节点服务重启之后使用的同步方式。此时,从节点会请求主节点同步增量数据。但是在增量同步期间,如果主节点接收到了新的写入请求,而从节点服务还未重启,那么从节点可能会丢失这部分期间的数据。
为了减少数据丢失的风险,可以考虑使用持久化机制,即通过开启AOF(Append Only File)或RDB(Redis Database)持久化来将数据保存到硬盘中,以防止数据丢失。同时,合理配置Redis的参数,避免缓冲区溢出或过小,也可以降低数据丢失的风险。
面试官:很棒!你对Redis的集群方案和同步机制都有很深入的理解。那最后一个问题,Redis集群在扩展性方面有什么考虑?
候选人:Redis集群在扩展性方面非常灵活。可以通过主从复制方式实现读写分离,提高读写性能。同时,也可以通过搭建Redis分片集群来实现水平扩展,增加集群的高并发能力。
在Redis分片集群中,数据被分散到多个节点上,每个节点负责处理其中的一部分数据,从而将负载均衡到多个节点上,提高了集群的整体性能。当需要扩展集群时,只需添加新的主节点,将部分数据迁移到新节点上即可。这种方式可以有效地利用服务器资源,实现线性扩展。
但是需要注意的是,Redis分片集群的维护和管理较为复杂,需要考虑数据的拆分和迁移、负载均衡、故障处理等问题。因此,在选择集群方案时,需要综合考虑业务需求、硬件资源、运维成本等因素。
面试官:非常好!你对Redis的集群方案和扩展性有着深入的了解。感谢你的分享和解答,你在本次面试中表现非常出色!
候选人:非常感谢您给予我这次面试机会,能够与您分享我的知识和经验,我也从中学到了很多新的东西。无论结果如何,我都会继续努力,不断学习和提升自己的技术水平。再次感谢您!
在这次面试中,候选人表现出色地回答了关于Redis集群方案的问题。他介绍了Redis集群提供的三种方案:主从复制、哨兵模式和Redis分片集群。然后,他深入解释了主从同步的过程,包括全量同步和增量同步,并指出了在主从同步过程中可能存在的数据丢失风险。候选人还提到了如何保证Redis的高并发高可用,包括搭建主从集群和使用哨兵模式,以实现自动故障恢复。
候选人对Redis分片集群的作用和数据存储、读取的流程进行了清晰的解释。他还回答了Redis为什么能够高效快速的问题,涉及到Redis基于内存、采用单线程、使用多路I/O复用模型等特点。此外,候选人还解释了I/O多路复用模型的概念和工作原理。
最后,候选人对于面试官的问题,如Redis集群扩展性方面的考虑,也进行了深入的回答。他提到了通过主从复制实现读写分离和通过Redis分片集群实现水平扩展,以提高集群的高并发能力。同时,他也提到了在选择集群方案时需要综合考虑多个因素。
候选人在本次面试中展现了对Redis集群方案的深入理解和扎实的技术功底。他的回答表现出了他对Redis的高度熟悉和对技术细节的把握。在整个面试过程中,候选人表现得非常自信和专业,对问题的回答清晰明了,展现了良好的沟通能力和技术能力。
总体来说,候选人在这次面试中表现出色,展现了他在Redis方面的专业知识和技能。他的深入解答和自信表现给面试官留下了深刻的印象。无论结果如何,候选人都展现了他的学习态度和对技术的热情,相信他会在未来的发展中取得更大的成就。
相关文章:

解密Redis:应对面试中的缓存相关问题2
面试官:Redis集群有哪些方案,知道嘛? 候选人:嗯~~,在Redis中提供的集群方案总共有三种:主从复制、哨兵模式、Redis分片集群。 面试官:那你来介绍一下主从同步。 候选人:嗯ÿ…...

HTTP——八、确认访问用户身份的认证
HTTP 一、何为认证二、BASIC认证BASIC认证的认证步骤 三、DIGEST认证DIGEST认证的认证步骤 四、SSL客户端认证1、SSL 客户端认证的认证步骤2、SSL 客户端认证采用双因素认证3、SSL 客户端认证必要的费用 五、基于表单认证1、认证多半为基于表单认证2、Session 管理及 Cookie 应…...

解决word打字卡顿问题的方法
❤ 2023.8.5 ❤ 最近整理论文,本来我是wps死忠粉,奈何wps不支持latex公式。。。 无奈用起了word,但是谁想字数稍微多了一点,word就卡得欲仙欲死,打个字过去2s才显示出来,删除的时候都不知道自己删了几个字…...

python elasticsearch update by query
创建索引以及添加数据 PUT test {"mappings": {"properties": {"test":{"type": "nested"}} }}GET test/_mappingPUT test/_doc/1 {"test":{"name":"ellis","age":100} }elastics…...

Linux搭建pikachu靶场(以centos为例)
Linux搭建pikachu靶场 Pikachu是一个使用PHP语言编写的Web漏洞测试靶场。下面是在CentOS 7上安装Pikachu靶场的步骤: 安装LAMP (Linux, Apache, MySQL, PHP) 堆栈: 首先,需要在CentOS 7服务器上安装LAMP堆栈。 安装Apache: yum i…...

git clone 登录 github
git clone 登录 github 目录概述需求: 设计思路实现思路分析1.github 设置setting2.输入passwd 参考资料和推荐阅读 Survive by day and develop by night. talk for import biz , show your perfect code,full busy,skip hardness,make a better result…...

迭代器模式(C++)
定义 提供一种方法顺序访问一个聚合对象中的各个元素,而又不暴露(稳定)该对象的内部表示。 应用场景 在软件构建过程中,集合对象内部结构常常变化各异。但对于这些集合对象,我们希望在不暴露其内部结构的同时,可以让外部客户代…...

ES智能推荐
用 ElasticSearch 实现 “猜你喜欢” 智能推荐_elasticsearch 推荐算法_程序员刘一二的博客-CSDN博客 个性化推荐系统从0到1-腾讯云开发者社区-腾讯云 ElasticSearch学习29_基于Elasticsearch实现搜索推荐_Wang_Zhenwei的博客-CSDN博客 https://github.com/IBM/elasticsearch-…...

【Rust】Rust学习 第五章使用结构体组织相关联的数据
5.1 定义结构体并实例化结构体 定义结构体,需要使用 struct 关键字并为整个结构体提供一个名字。结构体的名字需要描述它所组合的数据的意义。接着,在大括号中,定义每一部分数据的名字和类型,我们称为 字段(field&…...

EtherCAT转Profinet网关连接西门子PLC与凯福科技总线步进驱动器通讯
西门子S7-1200/1500系列的PLC,采用Profinet实时以太网通讯协议,需要连接带EtherCAT的通讯功能的伺服驱动器等设备,就必须进行通讯协议转换。捷米特JM-EIP-RTU系列的网关提供了,快速可行的解决方案 捷米特JM-ECTM-PN在PROFINET一侧…...

秋招算法备战第39天 | 62.不同路径、63. 不同路径 II
62. 不同路径 - 力扣(LeetCode) 按照动态规划五部曲走,非常清晰 class Solution:def uniquePaths(self, m: int, n: int) -> int:dp [[0 for _ in range(n)] for _ in range(m)]for i in range(m):dp[i][0] 1for j in range(n):dp[0][…...

Docker网络模型使用详解(2)Docker网络模式
安装Docker时会自动创建3个网络,可以使用docker network ls命令列出这些网络。 [rootlocalhost ~]# docker network ls NETWORK ID NAME DRIVER SCOPE ebcfad6f4255 bridge bridge local b881c67f8813 compose_lnmp_lnmp…...

Docker DCT
DOCKER_CONTENT_TRUST 如何使用Docker Content Trust为容器确保安全?-51CTO.COM...

【owt】erzio的handler和pipeline
【owt】erzio的PipelineBase::addService licode学习之erizo篇–Pipeline_handle 大神分析的非常细致: 大神 总结:erizo的pipeline的handler是负责实际数据处理的,通过处理链路,将之串联起来 大神还绘制了基础类图: pipleline 负责读写数据包并处理数据包 创建:static Pt…...

Dockerfile构建mysql
使用dockerfile构建mysql详细教学加案例 Dockerfile 文件 # 使用官方5.6版本,latest为默认版本 FROM mysql:5.6 #复制my.cof至容器内 ADD my.cnf /etc/mysql/my.cof #设置环境变量 密码 ENV MYSQL_ROOT_PASSWORD123456my.cof 文件 [mysqld] character-set-server…...

QT-如何生成唯一ID
在Qt中,我们可以使用QUuid类来生成唯一的ID。QUuid是一个用于操作通用唯一标识符(UUID)的类,它可以生成符合RFC4122标准的UUID。 以下是一个示例代码,演示了如何使用QUuid生成唯一的ID: #include <QAp…...

Go语言基础: Switch语句、Arrays数组、Slices切片 详细教程案例
文章目录 一. Switch语句1. Default case2. Multiple expressions in case3. Expressionless switch4. Fallthrough5. break6. break for loop 二. Arrays数组1. when arrays are passed to functions as parameters2. Iterating arrays using range3.Multidimensional arrays …...

从URL取值传给后端
从URL传值给后端 http://127.0.0.1:8080/blog_content.html?id8点击浏览文章详情,跳转至详情页面 从 url 中拿出文章 id,传给后端 首先拿到url然后判断是否有值,从问号后面取值params.split(&) 以 & 作为分割然后遍历字符数组 param…...

API接口用例生成器
一、前言 随着自动化测试技术的普及,已经有很多公司或项目,多多少少都会进行自动化测试。 目前本部门的自动化测试以接口自动化为主,接口用例采用 Excel 进行维护,按照既定的接口用例编写规则,对于功能测试人员来说只…...

最新AI创作系统ChatGPT源码V2.5.8/支持GPT4.0+GPT联网提问/支持ai绘画Midjourney+Prompt+MJ以图生图+思维导图生成!
使用Nestjs和Vue3框架技术,持续集成AI能力到系统! 最新版【V2.5.8】更新: 新增 MJ 官方图片重新生成指令功能同步官方 Vary 指令 单张图片对比加强 Vary(Strong) | Vary(Subtle)同步官方 Zoom 指令 单张图片无限缩放 Zoom out 2x | Zoom ou…...

【Vxworks】映射物理地址为虚拟地址,并获取此地址的存放值
最近开始接触Vxworks,得知Vx中不可对物理地址直接操作,需要先转为虚拟地址。 本文则将介绍此实现方法。 1. 物理地址映射为虚拟地址 采用pmapGlobalMap接口,对从0xf0000000开始,大小为0x1000的地址空间进行映射,得到…...

C/C++可变参数列表
可变参数列表 可变参数宏--__VA_ARGS__C风格不定参使用补充知识:函数调用时参数的压栈顺序及内存使用使用不定参模拟实现printf C风格不定参数的使用 可变参数宏–VA_ARGS #include <stdio.h>//...表示不定参,__VA_ARGS__使用不定参 // __FILE__ …...

MongoDB基本命令使用
成功启动MongoDB后,再打开一个命令行窗口输入mongo,就可以进行数据库的一些操作。 输入help可以看到基本操作命令: show dbs:显示数据库列表 show collections:显示当前数据库中的集合(类似关系数据库中的表…...

uniapp 微信小程序 上下滚动的公告通知(只取前3条)
效果图: <template><view class"notice" click"policyInformation"><view class"notice-icon"><image mode"aspectFit" class"img" src"/static/img/megaphone.png"></i…...

OSPF在MGRE上的实验
实验题目如下: 实验拓扑如下: 实验要求如下: 【1】R6为ISP只能配置ip地址,R1-5的环回为私有网段 【2】R1/4/5为全连的MGRE结构,R1/2/3为星型的拓扑结构,R1为中心站点 【3】所有私有网段可以互相通讯&…...

什么样的跨网文件安全交换系统 可实现安全便捷的文件摆渡?
进入互联网时代,网络的运算和数据管理能力助力各个行业高速发展,但同样带来了一些网络安全隐患,网络攻击、数据窃取、敏感信息泄露等问题。为此,我国出台了系列政策来全面提升银各行业系统网络安全整体防护水平,其中“…...

C语言memset函数的作用
memset函数是C语言中的一个库函数,其作用是将一块内存区域的每个字节都设置为指定的值。 memset函数的原型如下: void *memset(void *ptr, int value, size_t num); 参数解释: ptr:指向要填充的内存区域的指针。value࿱…...

暑假刷题第23天--8/7
D-游游的k-好数组_牛客周赛 Round 6 (nowcoder.com)(关键--a[1]a[k1]) #include<iostream> #include<algorithm> using namespace std; const int N100005; int a[N]; typedef pair<int,int>PII; PII b[N]; void solve(){int n,k,x;…...

Double DQN缓解动作价值的高估问题
1、算法: Selection using DQN: a ⋆ argmax a Q ( s t 1 , a ; w ) . a^{\star}\operatorname*{argmax}_{a}Q(s_{t1},a;\mathbf{w}). a⋆aargmaxQ(st1,a;w). Evaluation using target network: y t r t γ ⋅ Q ( s t 1 , a ⋆ ; w − )…...

【C#学习笔记】内存管理
文章目录 分配内存释放内存GC标记清除算法分代算法大对象和小对象 .NET的GC机制有这样两个问题: 官方文档 自动内存管理 自动内存管理是CLR在托管执行过程中提供的服务之一。 公共语言运行时的垃圾回收器为应用程序管理内存的分配和释放。 对开发人员而言…...