redis（1）

一、redis基础

redis主要用来做缓存

redis简介

短短几年，Redis就有了很大的用户群体，目前国内外使用的公司众多，比如：阿里，百度，新浪微博，知乎网，Github，Twitter等。

Redis是一个开源的，遵循BSD协议的，基于内存的而且目前比较流行的键值数据库（key-value database），是一个非关系型数据库，redis提供将内存通过网络远程共享的一种服务，提供类似的功能的还有memcached，但相比memcached，redis还提供了易扩展、高性能、具备数据持久化等功能。

redis在高并发、低延迟环境要求比较高的环境使用量非常广泛，目前redis在DB-Engine月排行榜一致比较靠前，而且一直是键值型存储类的首位

官网地址：https://redis.io/

redis 特性

• 速度快：10W QPS，基于内存，C语言实现
• 单线程
• 持久化
• 支持多种数据结构
• 支持多种编程语言
• 功能丰富：支持Lua脚本，发布订阅，事务，pipline等功能
• 简单：代码短小精悍（单机核心代码只有23000行左右），单线程开发容易，不依赖外部库，使用简单
• 主从复制
• 支持高可用和分布式

单线程

Redis6.0版本之前一直都是单线程方式处理用户请求

单线程为何如此快？

• 纯内存
• 非阻塞
• 避免线程切换和竞态消耗
  

注意事项：

• 一次只运行一条命令
• 拒绝长（慢）命令：keys，flushall，flushdb，show lua script，multi/exec，operate big value（collection）
• 其实不是单线程：早期版本是单进程单线程，3版本后实际还有其他线程，fsync file descriptor, close file descriptor

redis 对比 memcached

• 支持数据的持久化：可以将内存中的数据保持在磁盘中，重启redis服务或者服务器之后可以从备份文件中恢复数据到内存继续使用
• 支持更多的数据类型：支持string（字符串）、hash（哈希数据）、list（列表）、set（集合）、zset（有序集合）
• 支持数据的备份：可以实现类似于数据的master-slave模式的数据备份，另外也支持使用快照+AOF
• 支持更大的value数据：memcache单个key value最大支持1MB，而redis最大支持512MB（生产不建议超过2M，性能受影响）
• 在Redis6版本前，redis是单线程，而memcached是多线程，所以单机情况下没有memcached并发高，性能更好，但redis支持分布式集群以实现更高的并发，单redis实例可以实现数万并发
• 支持集群横向扩展：基于redis cluster的横向扩展，可以实现分布式集群，大幅提升性能和数据安全性
• 都是基于C语言开发

redis 典型应用场景

• session共享：常见于web集群中的Tomcat或者PHP中的多web服务器session共享
• 缓存：数据查询、电商网站商品信息、新闻内容
• 计数器：访问排行榜、商品浏览数等和次数相关的数值统计场景
• 微博/微信社交场合：共同好友，粉丝数，关注，点赞评论等
• 消息队列：ELK的日志缓存、部分业务的订阅发布系统
• 地理位置：基于GEO（地理位置信息定位），实现摇一摇，附近的人，外卖等功能

数据更新操作流程：

数据还是存在mysql中，redis用来做缓存

数据读操作流程：

二、redis安装及连接

官方下载地址：http://download.redis.io/releases/

yum安装redis

在centos系统上需要安装epel源

查看yum仓库redis版本

yum -y install epel-release
yum info redis

yum安装 redis

yum -y install redis
systemctl enable --now redis
pstree -p |grep redis
redis-cli	# 客户端连接工具
127.0.0.1：6379> ping
PONG
127.0.0.1：6379> info

编译安装 redis

下载redis源码包

网站：http://download.redis.io/releases/

编译安装

• 获取软件安装包，安装编译环境

yum -y install make gcc tcl
wget https://download.redis.io/releases/redis-5.0.9.tar.gz
tar xf redis-5.0.9.tar.gz

• 编译安装

cd redis-5.0.9
cd src/
make
make PREFIX=/apps/redis install

• 配置变量

echo "PATH=/apps/redis/bin:$PATH" > /etc/profile.d/redis.sh
. /etc/profile.d/redis.sh

• 目录结构

tree /apps/redis/

准备相关目录和文件

mkdir /apps/redis/{etc,log,data,run}
cp ~/redis-5.0.9/redis.conf /apps/redis/etc

前台启动redis

redis-server 是redis服务器程序

redis-server --help

前台启动redis

redis-server /apps/redis/etc/redis.conf
ss -tnl
默认端口：6379

启动多实例

• 刚刚启动的案例是6379端口，我们可以在6380端口上开启第二个redis服务
• 为6380准备相关目录和文件

mkdir /apps/redis/6380
cp -ar /apps/redis/* /apps/redis/6380/
tree -d /apps/redis/6380
vim /apps/redis/6380/etc/redis.conf
port 6380

• 前端启动6380

redis-server /apps/redis/6380/etc/redis.conf
ss -tnl
连接客户端指定端口，进入到某个实例
redis-cli -p 6380
redis-cli -p 6379

解决启动时的三个警告提示

默认情况，redis配置文件的参数和内核参数不匹配，因此还需要修改配置参数，否则启动时会有警告，但是并不影响使用

• tcp-backlog
  • backlog参数控制的是三次握手的时候server端收到client.ack确认后之后的队列值，即全连接队列

echo "net.core.somaxconn = 1024" >> /etc/systecl.conf
sysctl -p
net.core.somaxconn = 1024

• vm.overcommit_memory
  • 查看警告信息有提示，建议将其值改为1
  • 0表示内核将检查是否有足够的可用内存供应应用进程使用；如果有足够的可用内存，内存申请允许；否则，内存申请失败，并把错误返回给应用程序
  • 1 表示内核允许分配所有的物理内存，而不管当前的内存状态如何
  • 2 表示内核允许分配超过所有物理内存和交换空间总和的内存

echo "vm.overcommit_memory=1" >> /etc/systcl.conf
systcl -p
net.core.somaxconn = 1024
vm.overcommit_memory=1

• transparent huge pages
  • 警告：您在内核中启用了透明大页面（THP，不同于一般内存页的4k为2M）支持。这将在Redis中造成延迟和内存使用问题。要解决此问题，请以root用户身份允许命令echo never> /sys/kernel/mm/transparent_hugepage/enabled，并将其添加到/etc/rc.local中，以便在重启后保留设置。禁用THP后，必须重新启动redis

echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo "/sys/kernel/mm/transparent_hugepage/enabled" >> /etc/rc.d/rc.local
chmod +x /etc/rc.d/rc.local

• 再次启动redis可以看到警告消除，建议在其他redis服务器上做以上配置

创建 redis 用户

useradd -r -s /sbin/nologin redis
chown -R redis.redis /apps/redis/

编辑 redis 服务器启动文件

• 复制其他主机yum安装生产的redis.server文件进行修改

vim /lib/systemd/system/redis.service
[Unit]
Description=Redis persistent key-value database
After=network.target
[Service]
ExecStart=/apps/redis/bin/redis-server /apps/redis/etc/redis.conf --supervised systemd
ExecStop=/bin/kill -s QUIT $MAINPID
Type=notify
User=redis
Group=redis
RuntimeDirectory=redis
RuntimeDirectory=0755
[Install]
WantedBy=multi-user.target

验证 redis 启动

systemctl daemon-reload
systemctl start redis
systemctl enable --now redis
ss -tnl

使用客户端连接redis

• 格式

redis-cli -h IP/HOSTNAME -p PORT -a PASSWORD

• 连接示例

redis-cli
127.0.0.1:6739> info

设置密码登录

vim /apps/redis/etc/redis.conf
解除下面一行的注释
# requirepass foobared
后面写自己的密码
requirepass centossystemctl restart redis
redis-cli
127.0.0.1:6739> info
127.0.0.1:6739> auth centos

创建命令软连接

ln -s /apps/redis/bin/ /usr/bin/

编译安装后的命令

ll /apps/redis/bin/

• 工具作用

工具	作用
redis-benchmark	redis性能检测工具
redis-check-aof	AOF文件检查工具
redis-check-rdb	RDB文件检查工具
redic-cli	客户端工具
redis-sentinel->redis-server	哨兵，软连接到server
redis-server	redis服务启动命令

一键编译安装Redis脚本

vim redis_install.sh
#!/bin/bash
. /etc/init.d/functions
VERSION=redis-5.0.9
DIR1=/apps/redis
PASSWORD=centos
install(){
yum -y install make gcc tcl &> /dev/null || {action "安装所需包失败，请检查包或网络设置" false;exit;}
wget http://download.redis.io/releases/${VERSION}.tar.gz &> /dev/null || { action "Redis 源码下载失败" false; exit;}
tar xf $VERSION.tar.gz
cd $VERSION/src
make -j 2 &> /dev/null && make PREFIX=${DIR1} install &> /dev/null && action "Redis 编译安装成功" || { action "Redis 安装编译失败" false;exit;}
ln -s ${DIR1}/bin/* /usr/bin
mkdir -p ${DIR1}/{etc,data,log,run}
cd 
cp $VERSION/redis.conf $DIR1/etc
sed -i -e "s/bind 127.0.0.1/bind 0.0.0.0/" -e "/# requirepass/a reuqirepass ${PASSWOORD}" -e "/^dir.*/c dir ${DIR1}/data" -e "logfile .*/c logfile ${DIR1}/log/redis_6379.log" -e "/^pidfile .*/c pidfile ${DIR1}/run/redis_6379.pid" ${DIR1}/etc/redis.confif id redis &> /dev/null;thenaction "redis 用户已存在" false
elseuseradd -r -s /sbin/nologin redisaction "reids 用户创建成功"
fi
chown -R redis.redis ${DIR1}
cat >> /etc/systcl.conf <<EOF
net.core.somaxconn = 1024
vm.overcommit_memory=1
EOF
systcl -p
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo "/sys/kernel/mm/transparent_hugepage/enabled" >> /etc/rc.d/rc.local
chmod +x /etc/rc.d/rc.local
/etc/rc.d/rc.local
cat >> /lib/systemd/system/redis.server <<EOF
[Unit]
Description=Redis persistent key-value database
After=network.target
[Service]
ExecStart=/apps/redis/bin/redis-server /apps/redis/etc/redis.conf --supervised systemd
ExecStop=/bin/kill -s QUIT $MAINPID
Type=notify
User=redis
Group=redis
RuntimeDirectory=redis
RuntimeDirectory=0755
[Install]
WantedBy=multi-user.target
EOF
systemctl daemon-reload
systemctl start redis
systemctl enable --now redis &> /dev/null && action "Redis 服务启动成功" || { action "redis 服务启动失败" false;exit; }
}
installchmod +x vim redis_install.sh
./redis_install.sh

连接到 Redis

主要分为客户端连接和程序的连接

客户端连接redis

• 本机无密码连接

redis-cli 

• 跨主机无密码连接，跨机连不上去要看配置文件的bind的IP是不是不允许网络连接

redis-cli -h 192.168.64.129 -p 6379
192.168.64.129:6379>

• 跨主机密码连接

vim /apps/redis/etc/redis.conf
requirepass centos
systemctl restart redis
redic-cli -h 192.168.64.129 -p 6379 -a centos --no-auth-warning
192.168.64.129:6379>

程序连接 Redis

• redis支持多种开发语言访问https://redis.io/clients

shell连接方式

vim redis_test.sh
#!/bin/bash
NUM=`seq 1 10000`
PASS= centos
for i in ${NUM};do
redis-cli -h 127.0.0.1 -a "$PASS" --no-auth-warning set key-${i} value-${i}
echo "key-${i} value-${i} 写入完成"
done
echo "一万个key写入到redis完成"vim /apps/redis/etc/redis.conf
# 临时关闭RDB，不然会报错
save ""		不用管快照systemctl restart redis
time bash redis_test.shredis-cli
> auto centos
> keys *
> get key-996>flushdb # 清空当前库的数据
> keys *
> flushall # 清空所有的数据

python连接方式

redis 的多实例

和上次6380的多实例类似