MemcachedRedis构建缓存服务器

目录

Memcached&Redis构建缓存服务器

一、介绍

二、memcached

1、特点

2、服务框架

3.配置安装memcached

三、redis服务

1、介绍

2、特点

3、缓存

4、安装redis

5、数据持久化

6、redis主从配置

---

Memcached&Redis构建缓存服务器

一、介绍

许多Web应用都将数据保存到 RDBMS中，应用服务器从中读取数据并在浏览器中显示。但随着数据量的增大、访问的集中，就会出现RDBMS的负担加重、数据库响应恶化、 网站显示延迟等重大影响。**Memcached/redis是高性能的分布式内存缓存服务器,通过缓存数据库查询结果，减少数据库访问次数，以提高动态Web等应用的速度、 提高可扩展性。

RDBMS即关系数据库管理系统(Relational Database Management System)

NOSQL名词解释：非关系型数据库:

1、nosql产品: redis,mongodb,memcached.

2、存储方式：以键值对的方式存储数据---（Key-Value）的形式

3、类型：缓存数据库、非关系型数据库。

4.、缓存服务器的作用：加快访问速度，缓解数据库读的压力。

5、nosql的优点与缺点

 优点:- 高可扩展性- 分布式计算- 低成本- 架构的灵活性，半结构化数据- 没有复杂的关系缺点:- 没有标准化 - 有限的查询功能（到目前为止）- 最终一致是不直观的程序

6、关系型数据库与非关系型数据库的区别:

 1.关系型数据库:优点：1、易于维护：都是使用表结构，格式一致；2、使用方便：SQL语言通用，可用于复杂查询；3、复杂操作：支持SQL，可用于一个表以及多个表之间非常复杂的查询。缺点：1、读写性能比较差，尤其是海量数据的高效率读写；2、固定的表结构，灵活度稍欠；3、高并发读写需求，传统关系型数据库来说，硬盘I/O是一个很大的瓶颈。=============================================================================2.非关系型数据库严格上不是一种数据库，应该是一种数据结构化存储方法的集合，可以是文档或者键值对等。优点：1、格式灵活：存储数据的格式可以是key,value形式、文档形式、图片形式等等，文档形式、图片形式等等，使用灵活，应用场景广泛，而关系型数据库则只支持基础类型。2、速度快：nosql可以使用硬盘或者随机存储器作为载体，而关系型数据库只能使用硬盘；3、高扩展性；4、成本低：nosql数据库部署简单，基本都是开源软件。​缺点：1、不提供sql支持，学习和使用成本较高；2、无事务处理；3、数据结构相对复杂，复杂查询方面稍欠。​

二、memcached

1、特点

 1.内置内存存储方式-----------为了提高性能，memcached中保存的数据都存储在memcache内置的内存存储空间中。由于数据仅存在于内存中，重启操作系统会导致全部数据消失2.简单key/value存储---------------服务器不关心数据本身的意义及结构，只要是可序列化数据即可。存储项由“键、过期时间、可选的标志及数据”四个部分组成；3.不互相通信的分布式 -------------  memcached尽管是“分布式”缓存服务器，但服务器端并没有分布式功能。 各个memcached不会互相通信以共享信息。那么，怎样进行分布式呢？ 这完全取决于客户端的实现。

 

2、服务框架

原理：

1、检查客户端的请求数据是否在memcached中，如有，直接把请求数据返回，不再对数据库进行任何操作，路径操作为①②③⑦。 2、如果请求的数据不在memcached中，就去查数据库，把从数据库中获取的数据返回给客户端，同时把数据缓存一份到memcached中（memcached客户端不负责，需要程序明确实现），路径操作为①②④⑤⑦⑥。

3.保持缓存的“新鲜性”，每当数据发生变化的时候（比如，数据有被修改，或被删除的情况下），要同步的更新缓存信息，确保用户不会在缓存取到旧的数据。

3.配置安装memcached

memcached能存放多少数据，取决于服务器本身的内存有多大。

 1.安装----准备一台服务器[root@memcached ~]# yum install memcached -y[root@memcached ~]# systemctl start memcached  #启动2.修改配置文件[root@memcached ~]# cat /etc/sysconfig/memcached PORT="11211"  # 监听端口USER="memcached"  # 用户MAXCONN="1024"    # 最大并发数CACHESIZE="64"    # 分配内存大小OPTIONS=""        # 监听网络地址然后把ip地址发给开发人员，开发的会使用api接口连接memcached.测试：[root@memcached ~]# yum install -y telnet   #安装telent[root@memcached ~]# telnet 192.168.246.188 11211Trying 192.168.246.188...Connected to 192.168.246.188.Escape character is '^]'.set name 0 60 7    #设置名称为name的keynewrain        #给name的值STORED#出现stored表示已经存储成功。​get name       #查询key值VALUE name 0 7newrainEND参数解释:name：key的名字 自己定义0：key的id号，需要和其他的key不一样60：缓存过期时间,单位为秒，0为永远7：字符串最大长度

三、redis服务

1、介绍

redis是一个开源的、使用C语言编写的、支持网络交互的、可基于内存也可持久化的Key-Value数据库

redis的官网：redis.io

注:域名后缀io属于国家域名，是british Indian Ocean territory，即英属印度洋领地

2、特点

 1.丰富的数据结构  -----string,list,set,zset,hash等数据结构的存储2.支持持久化3.支持事务   ---------------事务是指“一个完整的动作，要么全部执行，要么什么也没有做”。4.支持主从

3、缓存

 1.类型1).数据缓存 2).页面缓存(Smarty) 在开发网站的时候如果有一些数据在短时间之内不会发生变化，而它们还要被频繁访问，为了提高用户的请求速度和降低网站的负载，就把这些数据放到一个读取速度更快的介质上(或者是通过较少的计算量就可以获得该数据) ，该行为就称作对该数据的缓存。 该介质可以是文件、数据库、内存，内存经常用于数据缓存​2.形式页面缓存经常用在内存管理系统里边 数据缓存经常用在页面的具体数据里边 ​redis和memcache比较 1).Redis不仅仅支持简单的k/v类型的数据,同时还提供了list,set,zset,hash等数据结构的存储 2).Redis支持master-slave(主-从)模式应用 3).Redis支持数据的持久化

4、安装redis

1.安装单机版redis

 [root@redis-master ~]# mkdir -p /data/application     ---创建工作目录[root@redis-master ~]# wget http://download.redis.io/releases/redis-5.0.10.tar.gz   ---下载redis[root@redis-master ~]# tar xzf redis-5.0.10.tar.gz -C /data/application/    ---解压[root@redis-master ~]# cd /data/application/[root@redis-master application]# mv redis-5.0.10/ redis[root@redis-master application]# cd redis/[root@redis-master redis]# yum install -y gcc make  #安装编译工具[root@redis-master redis]# make注：如果报错请将刚才解压的安装包删除掉，再次重新解压并进行make安装即可。[root@redis-master redis]# cp redis.conf redis.conf.bak[root@redis-master redis]# vim redis.conf     ---修改如下bind 192.168.246.202　　#只监听内网IPdaemonize yes　　　　　#开启后台模式将on改为yestimeout 300　　　　　　#连接超时时间port 6379                      #端口号dir /data/application/redis/data　　#本地数据库存放持久化数据的目录该目录-----需要存在pidfile /var/run/redis_6379.pid　　#定义pid文件logfile /var/log/redis.log　　#定义log文件创建存放数据的目录[root@redis-master redis]# mkdir /data/application/redis/data配置redis为systemctl启动[root@redis-master redis]# cd /lib/systemd/system[root@redis-master system]# vim redis.service[Unit]Description=RedisAfter=network.target​[Service]ExecStart=/data/application/redis/src/redis-server /data/application/redis/redis.conf  --daemonize noExecStop=/data/application/redis/src/redis-cli -h 127.0.0.1 -p 6379 shutdown​[Install]WantedBy=multi-user.target

=====================

 参数详解:• [Unit] 表示这是基础信息 • Description 是描述• After 是在那个服务后面启动，一般是网络服务启动后启动​• [Service] 表示这里是服务信息 • ExecStart 是启动服务的命令• ExecStop 是停止服务的指令​• [Install] 表示这是是安装相关信息 • WantedBy 是以哪种方式启动：multi-user.target表明当系统以多用户方式（默认的运行级别）启动时，这个服务需要被自动运行。

 ===================启动服务:

 [root@redis-master system]# systemctl daemon-reload[root@redis-master system]# systemctl start redis.service

2.检查redis是否启动

 [root@master ~]# ss -npltState      Recv-Q Send-Q             Local Address:Port                            Peer Address:Port              LISTEN     0      128                            *:22                                         *:*                   users:(("sshd",pid=970,fd=3))LISTEN     0      100                    127.0.0.1:25                                         *:*                   users:(("master",pid=1188,fd=13))LISTEN     0      128                            *:6379                                       *:*                   users:(("redis-server",pid=6945,fd=6))LISTEN     0      128                         [::]:22                                      [::]:*                   users:(("sshd",pid=970,fd=4))LISTEN     0      100                        [::1]:25                                      [::]:*                   users:(("master",pid=1188,fd=14))[root@master ~]# 

3.登陆redis

 [root@redis-master system]# cd /data/application/redis/src/[root@redis-master src]# ./redis-cli -h 192.168.246.202 -p 6379192.168.246.202:6379> ping     ---测试redis是否可以用PONG192.168.246.202:6379> set name newrain    #设置key--name，并设置值OK192.168.246.202:6379> get name    #获取到key"newrain"192.168.246.202:6379>

4.redis的相关工具

 ./redis-benchmark     #用于进行redis性能测试的工具 ./redis-check-dump    #用于修复出问题的dump.rdb文件   ./redis-cli           #redis的客户端./redis-server        #redis的服务端./redis-check-aof     #用于修复出问题的AOF文件./redis-sentinel      #用于集群管理

5、数据持久化

作用：开启持久化功能后，重启redis，数据会自动通过持久化文件恢复！！

1.redis持久化 – 两种方式

 一、redis提供了两种持久化的方式，分别是RDB（Redis DataBase）和AOF（Append Only File）。RDB（Redis DataBase）：是在不同的时间点，将redis存储的数据生成快照并存储到磁盘等介质上；特点:1.周期性2.不影响数据写入  #RDB会启动子进程，备份所有数据。当前进程，继续提供数据的读写。当备份完成，才替换老的备份文件。3.高效     #一次性还原所有数据4.完整性较差 #故障点到上一次备份，之间的数据无法恢复。=================================================================================AOF（Append Only File）则是换了一个角度来实现持久化，那就是将redis执行过的所有写指令记录下来，在下次redis重新启动时，只要把这些写指令从前到后再重复执行一遍，就可以实现数据恢复了。特点:1.实时性2.完整性较好3.体积大  #记录数据的指令，删除数据的指令都会被记录下来。=================================================================================二、RDB和AOF两种方式也可以同时使用，在这种情况下，如果redis重启的话，则会优先采用AOF方式来进行数据恢复，这是因为AOF方式的数据恢复完整度更高。如果你没有数据持久化的需求，也完全可以关闭RDB和AOF方式，这样的话，redis将变成一个纯内存数据库，就像memcache一样。三、如何选择方式？缓存：不用开启任何持久方式双开:因RDB数据不实时，但同时使用两者时服务器只会找AOF文件,所以RDB留作万一的手段。redis持久化 – 如何选择RDB和AOF对于我们应该选择RDB还是AOF，官方的建议是两个同时使用。这样可以提供更可靠的持久化方案。写入速度快 ------------AOF写入速度慢 ------------RDB

2.持久化配置

 1、RDB默认开启：[root@redis-master src]# cd ..[root@redis-master redis]# vim redis.conf#dbfilename：持久化数据存储在本地的文件dbfilename dump.rdb#dir：持久化数据存储在本地的路径dir /data/application/redis/data##snapshot触发的时机，save <seconds> <changes>  ##如下为900秒后，至少有一个变更操作，才会snapshot  ##对于此值的设置，需要谨慎，评估系统的变更操作密集程度  ##可以通过“save “”来关闭snapshot功能  #save时间，以下分别表示更改了1个key时间隔900s进行持久化存储；更改了10个key300s进行存储；更改10000个key60s进行存储。save 900 1save 300 10save 60 10000##当snapshot时出现错误无法继续时，是否阻塞客户端“变更操作”，“错误”可能因为磁盘已满/磁盘故障/OS级别异常等  stop-writes-on-bgsave-error yes  ##是否启用rdb文件压缩，默认为“yes”，压缩往往意味着“额外的cpu消耗”，同时也意味这较小的文件尺寸以及较短的网络传输时间  rdbcompression yes 2、客户端使用命令进行持久化save存储：方式一[root@redis-master src]# ./redis-cli -h 192.168.246.202 -p 6379 save   #前台进行存储OK方式二./redis-cli -h ip -p port bgsave  #后台进行存储注意:每次快照持久化都是将内存数据完整写入到磁盘一次，并不是增量的只同步新数据。如果数据量大的话，而且写操作比较多，必然会引起大量的磁盘io操作，可能会严重影响性能。save方式：持久化前面的所有数据(rdb模式没开时，后续的数据不会进行备份)3、AOF默认关闭--开启[root@redis-master src]# cd ..[root@redis-master redis]# vim redis.conf修改如下:

  696 # Please check http://redis.io/topics/persistence for more information.697 698 appendonly yes  #修改这行699 700 # The name of the append only file (default: "appendonly.aof")

  1、此选项为aof功能的开关，默认为“no”，可以通过“yes”来开启aof功能,只有在“yes”下，aof重写/文件同步等特性才会生效​2、指定aof文件名称​appendfilename appendonly.aof  ​3、指定aof操作中文件同步策略，有三个合法值：always everysec no,默认为everysec​appendfsync everysec  ​4、在aof-rewrite期间，appendfsync是否暂缓文件同步，"no"表示“不暂缓”，“yes”表示“暂缓”，默认为“no”​no-appendfsync-on-rewrite no  ​5、触发aof rewrite的最小文件尺寸 ​auto-aof-rewrite-min-size 64mb​6、当Aof log增长超过指定比例时，重写log file， 设置为0表示不自动重写Aof 日志，重写是为了使aof体积保持最小，而确保保存最完整的数据。​auto-aof-rewrite-percentage 100**修改完配置文件后重启生效**

6、redis主从配置

1.主从-用法

 像MySQL一样，redis是支持主从同步的，而且也支持一主多从以及多级从结构。主从结构，一是为了纯粹的冗余备份，二是为了提升读性能，比如很消耗性能的SORT就可以由从服务器来承担。redis的主从同步是异步进行的，这意味着主从同步不会影响主逻辑，也不会降低redis的处理性能。主从架构中，可以考虑关闭主服务器的数据持久化功能，只让从服务器进行持久化，这样可以提高主服务器的处理性能。在主从架构中，从服务器通常被设置为只读模式，这样可以避免从服务器的数据被误修改。但是从服务器仍然可以接受CONFIG等指令，所以还是不应该将从服务器直接暴露到不安全的网络环境中。

2.主从-原理

 主从 – 同步原理从服务器会向主服务器发出SYNC(sync)指令，当主服务器接到此命令后，就会调用BGSAVE(bgsave)指令来创建一个子进程专门进行数据持久化工作，也就是将主服务器的数据写入RDB文件中。在数据持久化期间，主服务器将执行的写指令都缓存在内存中。在BGSAVE指令执行完成后，主服务器会将持久化好的RDB文件发送给从服务器，从服务器接到此文件后会将其存储到磁盘上，然后再将其读取到内存中。这个动作完成后，主服务器会将这段时间缓存的写指令再以redis协议的格式发送给从服务器。​另外，要说的一点是，即使有多个从服务器同时发来SYNC指令，主服务器也只会执行一次BGSAVE，然后把持久化好的RDB文件发给多个下游。在redis2.8版本之前，如果从服务器与主服务器因某些原因断开连接的话，都会进行一次主从之间的全量的数据同步；而在2.8版本之后，redis支持了效率更高的增量同步策略，这大大降低了连接断开的恢复成本。​主服务器会在内存中维护一个缓冲区，缓冲区中存储着将要发给从服务器的内容。从服务器在与主服务器出现网络瞬断之后，从服务器会尝试再次与主服务器连接，一旦连接成功，从服务器就会把“希望同步的主服务器ID”和“希望请求的数据的偏移位置（replication offset）”发送出去。主服务器接收到这样的同步请求后，首先会验证主服务器ID是否和自己的ID匹配，其次会检查“请求的偏移位置”是否存在于自己的缓冲区中，如果两者都满足的话，主服务器就会向从服务器发送增量内容。​增量同步功能，需要服务器端支持全新的PSYNC指令。这个指令，只有在redis-2.8之后才具有。

3.准备3台服务器部署redis主从

首先三台服务器将redis部署完成且做环境变量 a.编辑master的redis配置文件:

 redis-master----192.168.246.202redis-slave-1-----192.168.246.203redis-slave-2-----192.168.246.204[root@redis-master ~]# cd /data/application/redis/[root@redis-master redis]# vim redis.conf

修改如下

   84# you are sure you want clients from other hosts to connect to Redis85 # even if no authentication is configured, nor a specific set of interfaces86 # are explicitly listed using the "bind" directive.87 protected-mode no   #将加密保护关闭88 89 # Accept connections on the specified port, default is 6379 (IANA #815344).

b.修改slave1与slave2的配置文件：

 [root@redis-slave-1 ~]# cd /data/application/redis/[root@redis-slave-1 redis]# vim redis.conf      

修改如下：slave2一样

  281 # 3) Replication is automatic and does not need user intervention. After a282 #    network partition replicas automatically try to reconnect to masters283 #    and resynchronize with them.284 #285 replicaof 10.12.153.243 6379   #添加master的内网IP与端口286 287 # If the master is password protected (using the "requirepass" configuration

c.启动三台redis

 [root@redis-master redis]# systemctl start redis

d.测试主从

 1.在master上面执行

 [root@redis-master redis]# cd src/[root@redis-master src]# ./redis-cli 127.0.0.1:6379> pingPONG127.0.0.1:6379> set name xuanOK127.0.0.1:6379> get name"newrain"127.0.0.1:6379>

 2.分别在slave-1和slave-2上面执行:

 [root@redis-slave-1 redis]# cd src/[root@redis-slave-1 src]# ./redis-cli 127.0.0.1:6379> pingPONG127.0.0.1:6379> get name"newrain"127.0.0.1:6379>[root@redis-slave-2 src]# ./redis-cli 127.0.0.1:6379> pingPONG127.0.0.1:6379> get name"newrain"127.0.0.1:6379>

 3.查看复制状态master执行：

 127.0.0.1:6379> info replication# Replicationrole:masterconnected_slaves:2slave0:ip=192.168.246.203,port=6379,state=online,offset=490,lag=0slave1:ip=192.168.246.204,port=6379,state=online,offset=490,lag=1

 slave上面执行：

 127.0.0.1:6379> info replication# Replicationrole:slavemaster_host:192.168.246.202master_port:6379master_link_status:up

主从同步部署完成！