大数据之Redis

NoSQL

1. SQL数据库泛指关系型数据库
2. NoSQL不拘泥于关系型数据的设计范式，放弃了通用的技术标准，为某一特定领域场景而设计

NoSQL的特点

1. 不遵循SQL标准
2. 不支持ACID
3. 远超SQL的性能

NoSQL的适用场景

1. 对数据高并发的读写
2. 海量数据的读写
3. 对数据高可扩展性的

NoSQL的不适用场景

1. 需要事务ACID支持，有自己的事务，但是事务执行失败后不会进行回滚之类的操作。
2. 基于sql的结构化查询存储，处理复杂的关系，需要即席查询

NoSQL家族

1. Memcached:不支持持久化，一般是作为缓存数据库，辅助持久化的数据库
2. Redis：支持持久化，用作备份恢复，支持丰富的类型
3. mongoDB:文档型数据库
4. HBase: hadoop项目的数据库，主要用于对大量数据进行随机、实时的读写操作
5. Neo4j: 图结构数据库

官网

redis.io

Redis是什么

1. 是一个开源的key-value存储系统
2. 它支持存储的value类型相对更多，value可以是字符串，链表，set, list, zset和hash类型
3. 会周期性把更新的数据写入磁盘或者把修改操作写入追加的记录文件
4. 支持高可用和集群模式

经典使用场景

1. 旁路缓存模式，承担Mysql的读请求，用来缓存一些热门的读请求数据。
2. Redis里面的数据有TTL，time to live，适合那些只需短期存储后需要自动删除的数据
3. 手机验证码，redis缓存设置TTL + 第三方运营商发送短信

显示行号

：set nu

前台改后台启动

1. vim redis.conf
2. daemonize yes
3. 改为后台进程后，ps -ef | grep redis可以用来查看进程是否正常启动
4. redis-cli 默认是连本机，端口号是6379
5. redis-cli -h localhost -p 6379 指定主机和端口号
6. 关闭服务 redis-cli shutdown

key的常用操作

1. keys * : 查看所有的key
2. keys k*： 查看所有k开头的key
3. exists k1: 判断k1是否存在，1存在，0不存在
4. type l1 : 判断l1的类型
5. del l1 ： 删除l1
6. expire k1 10 : 设置k1存活10秒钟
7. dbsize ：查看当前库的key的个数
8. flushdb: 清空当前库

Redis的五大数据类型

String特点及常用操作

• 特点：存单值对象，二进制安全，可以存对象，一般转为json

• 常用操作：

  • set k1 v1: 添加
  • get k1 获取
  • append k1 23: 追加
  • setnx k1： 如果不存在则添加
  • strlen k1 ： 获取value的长度
  • incr k4 : 自增
  • decr k4 自减
  • incrby k4 步长：增加步长
  • mset k1 k2 k3 v4: 同时设置多个
  • getrange email 9 15 : 取子串
  • setrange email 9 xxxxxx 覆盖子串
  • setex k9 10 : 设置k9的ttl
  • getset: 设置新值，获取新值

List特点及常用操作

• list特点：单键多值，底层是双向链表；有正向下标和反向下标，可以混合使用。
• 常用操作
  • lpush l1 v1 v2 v3 v4 v5: 放入元素
  • lrange 0 -1 : 取出所有value
  • lpop: 从左边删除一个值
  • rpop: 从右边删除一个值
  • rpoppush: 从右边删除一个，插入左边
  • lindex
  • llen
  • linsert key before|after : 插入
  • lrem l2 2 aa : 移除两个aa

Set特点及常用操作

• set特点：无序不重复，提供了判断某个成员是否存在的接口
• set常用操作：
  • sadd
  • sismember: 判断是否是成员
  • scard key : 删除
  • spop key : 取出并删除一个值
  • srandmemeber key 3: 随机取出几个，不删除
  • sinter k1 k2 : 返回多个集合的交集元素
  • sunion k1 k2: 返回多个集合的并集元素
  • sdiff k1 k2 : 返回多个集合的差集元素

ZSet特点及常用操作

• 特点：有序Set, 根据排序有序，每个成员关联了一个score，根据score来排序。
• 常用操作：
  • zadd 添加
  • zrange 正序取
  • zrevrange 倒序取
  • zrangebyscore 取出指定范围的数据
  • zincrby : 指定成员加分
  • zrem : 删除指定成员
  • zcount: 统计指定范围的元素个数
  • zrank 返回指定成员的排名

Hash类型特点及常用操作

• 特点：键值对类型，支持单独修改每个属性，也支持读取整个元素。

• 操作

  • 写入： hset
  • 读取： hget / hgetall
  • 修改： hincby
  • 判存：hexists

Jedis

Redis的java客户端，可以通过Java代码的方式操作Redis.

参数配置

• logfile 路径，配置日志存放地址
• replication，主从模式配置
• clients， 配置最大客户连接数，默认10000
• 内存管理
  • maxmemeory:最大可用内存
  • maxmemory-ploicy:淘汰策略，一般是LRU或者是LFU

Redis持久化

1. RDB快照备份：将内存中的所有数据持久化到磁盘的一个文件中
   • 数据庞大时比较消耗性能，如果redis意外停机时，会丢失最后一次备份前的数据
2. AOF日志备份：将所有写操作命令记录在一个日志文件中
   • vim redis.conf中appendonly no，先不修改，如果修改会导致访问redis时得不到任何数据。
   • 如果redis有数据时，使用set appendonly yes, 会发现aof文件大小等于RDB的大小

如何持久化

主进程和副进程使用fork方式来进行的，主进程和副进程之间的数据是可以互通的。