标签：www 消耗cpu error pre session hash 特殊 主从复制 core
NoSQL
2>Mysql主从读写分离
3>分表分库+水平拆分+mysql集群
4>MySQL的扩展性瓶颈
5>今天什么样子？
6>为什么用NoSQL
互联网的需求
NoSQL数据模型简介
聚合模型
分布式数据库CAP原理CAP + BASE
CAP
? 
BASE
分布式 + 集群简介
Redis
REmote DIctionary Server(远程字典服务器)
三个特性
功能
内存存储和持久化：redis支持异步将内存中的数据写到硬盘上，同时不影响继续服务取最新N个数据的操作
eg：将最新的10条评论的ID放在Redis的List集合里面
模拟类似于HttpSession这种需要设定过期时间的功能
发布，订阅消息系统
定时器，计数器
基本操作
数据类型，基本操作 ,配置
持久化和复制，RDB/AOF
事务的控制
复制
.....
安装
linux
$ wget http://download.redis.io/releases/redis-5.0.4.tar.gz
$ tar xzf redis-5.0.4.tar.gz
$ cd redis-5.0.4
$ makeredis-server /myredis/redis.conf
redis-cli -p 6379知识点
单进程
单进程模型来处理客户端的请求，对读写等事件的响应
是通过对epoll函数的包装来做到的，Redis的实际处理速度完全依靠主进程的执行效率
Epoll是linux内核为处理大批量文件描述符而做了改进的epoll，是linux下多路复用IO接口select/poll的增强版本，它能显著提高程序在大量并发连接中只有少量活跃的情况下的系统CPU利用率
默认16个数据库，类似数组下表从零开始，初始默认使用零号库
Select: 命令切换数据库
Dbsize: 查看当前数据库的key的数量
Flushdb: 清空当前库
Flushall: 通杀全部库
统一密码管理: 16个库都是同样密码，要么OK 要么一个也连接不上
Redis索引都是从零开始
为什么默认端口是6379 (merz)
Redis数据类型
五大数据类型
String(字符串)
Hash(哈希)
List(列表)
Set(集合)
Zset(sorted set: 有序集合)
Redis zset和set一样也是string类型元素的集合，且不允许重复的成员
不同的是每个元素都会关联一个double类型的分数
redis正是通过分数来为集合中的成员进行从小到大的排序，zset的成员是唯一的，但分数(score)却可以重复
Redis命令参考
键key
keys * --> 查询所有key
exists key --> 判断某个key是否存在
move key db --> 移动当前库的键值到另一个库中
eg: move k1 2
expire key second --> 为给定的key设置过期时间
ttl key --> 查看还有多少秒过期，-1表示永不过期，-2表示已过期
type key --> 查看key是什么类型
字符串string
set/get/del/append/strlen
Incr/decr/incrby/decrby 一定要是数字才能进行加减
getrange/setrange
getrange: 获取指定区间范围内的值，类似between...and的关系
从零到负一表示全部
setrange: 设置指定区间范围内的值，格式是setrange key值，具体值
setex(set with expire)键秒值/setnx(set if not exist)
mset/mget/msetnx
getset(先get再set)列表List
llpush/rpush/lrange
lpop/rpop
lindex 按照索引下标获得元素(从上到下)
llen
lrem key //删N个value
ltrim key 开始index 结束index 截取指定范围的值后再赋值给key
rpoplpush 源列表 目的列表
lset key index value
linsert key before/after 值1 值2性能总结
集合Set
单值多value
sadd/smembers/slsmember
scard 获取集合里面的元素个数
srem key value删除集合中元素
srandmember key 某个整数(随机出几个数)
spop key 随机出栈
smove key1 key2 在key1里某个值，作用是将key1里的某个值赋给key2
数学集合类：
差集：sdiff
在第一个set里面而不在后面任何一个set里面的项
交集：sinter
并集：sunion哈希Hash
类似Java里面的(string， object)
KV模式不变，但V是一个键值对
hset/hget/hmset/hmget/hgetall/hdel
hlen
hexists key 在key里面的某个值的key
hkeys/hvals
hincrby/hincrbyfloat
hsetnx有序集合Zset(sorted set)
在set基础上，加一个score值，之前set是k1， v1， v2， v3
现在zset是k1 score1 v1 score2 v2
zadd/zrange (withscores)
zrangebyscore key 开始score 结束score
withscores
( 不包含
Limit 作用是返回限制，limit开始下标步， 多少步
zrem key 某score下对应的value值，作用是删除元素
zcard/zcount key score 区间/zrank key values值，作用是获得下标值/zscore key对应值， 获得分数
zrevrank key values值，作用是逆序获得下标值
zrevrange
zrevrangebyscore key 结束score 开始score解析配置文件
redis.conf
INCLUDES包含
GENERAL通用
Port
Tcp-backlog
设置tcp的backlog，backlog其实是一个连接队列，backlog队列总和=未完成三次握手队列 + 已经完成三次握手队列， 在高并发环境下需要一个高backlog值来避免慢客户端连接问题，注意linux内核会将这个值减小到/proc/sys/net/core/somaxconn的值，所以需要确认增大somaxconn和tcp_max_syn_backlog两个值来达到想要的效果
Bind
Tcp-keepalive
单位为秒，如果设置为0， 则不会进行Keepalive检测，建议设置成60
Logfile
Syslog-enabled
是否把日志输出到syslog中
指定syslog里的日志标志
指定syslog设备，值可以是USER或LOCAL0-LOCAL7
SNARSHOTTING快照
Save (save 秒钟 写操作次数)
Stop-writes-on-bgsave-error
rdbcompression: 对于存储到磁盘中的快照，可以设置是否进行压缩存储，如果是，redis采用LZF算法进行
缩，如果不想消耗CPU来进行压缩，可以设置为关闭此功能
rdbchecksum: 在存储快照后，还可以让redis使用CRC64算法来进行数据校验，但是这样做会增加大约10%的性能消耗，如果希望获取最大的性能提升，可以关闭此功能
dbfilename (dump.rdb)
dir (config get dir)
REPLICATION复制
SECURITY安全
LIMITS限制
Maxclients
Maxmemory
Maxmemory-policy
Maxmemory-samples
设置样本数量，LRU算法和最小TTL算法都并非是精确的算法，而是估算值，所以可以设置样本的大小
redis默认会检查这么多个key并选择其中LRU的那个
APPEND ONLY MODE 追加
常见配置redis.conf介绍
参数说明
redis.conf配置项说明如下：
1> Redis默认不是以守护进程的方式运行，可以通过该配置项修改，使用yes启用守护进程
? daemonize no
2> 当Redis以守护进程方式运行时，Redis 默认会把pid写入/var/run/redis.pid文件，可以通过pidfile指定
? pidfile /var/run/redis.pid
3> 指定Redis监听端口，默认端口为6379 (6379在手机按键上对应号码MERZ)，而MERZ取自意大利歌女Alessia Merz的名字
4> 绑定的主机地址
5> 当客户端闲置多长时间后关闭连接，如果指定为0，表示关闭该功能
? timeout 300
6> 指定日志记录级别，Redis总共支持四个级别: debug, verbose, notice, warning, 默认为verbose
? loglevel verbose
7> 日志记录方式，默认为标准输出，如果配置Redis为守护进程方式运行，而这里又配置为日志记录方式为标
? 准输出，则日志将会发送给/dev/null --> logfile stdout
8> 设置数据库的数量，默认数据库为0， 可以使用SELECT
? databases 16
9>指定在多长时间内，有多少次更新操作，就将数据同步到数据文件，可以多个条件配合
? save
? Redis默认配置文件中提供三个条件：
? save 900 1
? save 300 10
? save 60 10000
? 分别表示900秒(15分钟)内有1个更改，300秒(5分钟)内有10个更改以及60秒内有10000个更改
10> 指定存储至本地数据库时是否压缩数据，默认为yes，Redis采用LZF压缩，如果未来节省CPU时间
? 可以关闭该选项，但会导致数据库文件变的巨大 rdbcompression yes
11> 指定本地数据库文件名，默认值为dump.rdb
? dbfilename dump.rdb
12> 指定本地数据库存放目录 dir ./
13> 设置当本机为slav服务时，设置master服务的IP地址及端口，在Redis启动时，它会自动从master进行数
? 据同步 slaveof
14> 当master服务设置密码保护时，slav服务连接master的密码
15> 设置Redis连接密码，如果配置连接密码，客户端在连接Redis时需要通过AUTH
? 码，默认密码requirepass foobared
16> 设置同一时间最大客户端连接数，默认无限制，Redis可以同时打开的客户端连接数为Redis进程可以打开
? 的最大文件描述符数，如果设置maxclients 0， 表示不做限制，当客户端连接数到达限制时，
? Redis会关闭新的连接并向客户客户端返回max number of clients reached错误信息
? maxclients 128
17> 指定Redis最大内存限制，Redis在启动时会把数据加载到内存中，达到最大内存后，Redis会先尝试清除
? 已到期或即将到期的Key， 当此方法处理后，仍然到达最大内存设置，将无法再进行写入操作，但仍然可
? 以进行读取操作，Redis新的vm机制，会把key存放内存，value会存放在swap区
? maxmemory
18> 指定是否在每次更新操作后进行日志记录，Redis在默认情况下是异步的把数据写入磁盘，如果不开启，
? 可能会在断电时导致一段时间内的数据丢失，因为redis本身同步数据文件是按上面save条件来同步的，
? 所有有的数据会在一段时间内只存在内存中，默认为no
? appendonly no
19> 指定更新日志文件名，默认为appendonly.aof
? appendfilename appendonly.aof
20> 指定更新日志条件，共有3个可选值
? no， 表示等操作系统进行数据缓存同步到磁盘(快)
? always，表示每次更新操作后手动调用fsync()将数据写到磁盘(慢，安全)
? everysec: 表示每秒同步一次(折中 ：默认值)
? appendfsync everysec
21> 指定是否启用虚拟内存机制，默认值为no，VM机制将数据分页存放，由Redis将访问量较少的页即冷数
? 据swap到磁盘上，访问多的页面由磁盘自动换出到内存中，(Redis的VM机制)
· vm-enabled no
22> 虚拟内存文件路径，默认值为/tmp/redis.swap 不可多个Redis实例共享
? vm-swap-file/tmp/redis.swap
23> 将所有大于vm-max-memory的数据存入虚拟内存，无论vm-max-memory设置多小，所有索引数据都是
? 内存存储的(Redis的索引数据，即keys)，当vm-max-memory设置为0的时候，其实是所有value都存在于
? 磁盘，默认值为0
? vm-max-memory 0
24> Redis swap文件分成很多的page，一个对象可以保存在多个page上面，但一个page上不能被多个对象共
? 享，vm-page-size是要根据存储的数据大小来设定的，作者建议如果存储很多小对象，page大小最好设
? 置为32或者64bytes，如果存储很大的大对象，则可以使用更大的page，如果不确定，就使用默认值
? vm-page-size 32
25> 设置swap文件的page数量，由于页表(一种表示页面空闲或使用的bitmap)是放在内存中的，在磁盘上每
8个pages将消耗1byte的内存? vm-pages 134217728
26> 设置访问swap文件的线程数，最好不要超过机器的核数，如果设置为0，那么所有对swap文件的操作都
? 是串行的，可能会造成比较长时间的延迟，默认值为4
? vm-max-threads 4
27> 设置在向客户端应答时，是否把较小的包合并为一个包发送，默认为开启
? glueoutputbuf yes
28> 指定在超过一定的数量或者最大的元素超过某一临界值时，采用一种特殊的哈希算法
29> 指定是否激活重置哈希，默认为开启
? activerehashing yes
30> 指定包含其它的配置文件，可以在同一主机上多个Redis实例之间使用同一份配置文件，而同时各个实例
? 又拥有自己的特定配置文件
? include /path/to/local.conf
Redis 持久化
rdb(Redis DataBase)
RDB持久化方式能够在指定的时间间隔能对你的数据进行快照存储
Redis会单独创建(fork)一个子进程来进行持久化，会先将数据写入到一个临时文件中，待持久化过程都结束，再用临时文件替换上次持久化好的文件，整个过程中，主进程是不进行任何IO操作的，这就确保极高的性能，如果需要进行大规模数据的恢复，且对于数据恢复的完整性不是非常敏感，那RDB方式要比AOF方式更加的高效，RDB的缺点是最后一次持久化后的数据可能丢失
Fork的作用是复制一个与当前进程一样的进程，新进程的所有数据(变量，环境变量，程序计数器等)
数值都和原进程一致，但是是一个全新的进程，并作为原进程的子进程
Rdb保存的是dump.rdb文件
Rdb是整个内存的压缩过的Snapshot，RDB的数据结构，可以配置复合的快照触发条件
默认
如何触发RDB快照
配置文件中默认的快照配置 （冷拷贝后重新使用)
命令save或者bgsave
Save: save是只管保存，其它不管，全部阻塞
BGSave: Redis会在后台异步进行快照操作
快照同时还可以响应客户端请求，可以通过lastsave命令获取最后一次成功执行快照的时间
执行flushall命令，也会产生dump.rdb文件，但里面是空，无意义
如何恢复
优势
劣势
如何停止
小总结
aof(Append Only File)
以日志的形式来记录每个写操作，将Redis执行过的所有写指令记录下来(读操作不记录)
只许追加文件不可以改写文件，redis启动之初会读取该文件重新构建数据，即redis重启的话
就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作
aof保存的是appendonly.aof文件
AOF启动/修复/恢复
正常恢复
启动: 设置Yes，修改默认的appendonly no， 改为yes
恢复: 重启redis然后重载
异常恢复
Rewrite
AOF采用文件追加方式，文件会越来越大为了避免出现此情况，新增重写机制
当AOF文件的大小超过所设定的阈值时，Redis就会启动AOF文件的内容压缩
只保留可以恢复数据的最小指令集，可以使用指令bgrewriteaof
重写原理： AOF文件持续增长而过大时，会fork出一条新进程来将文件重写(也是先写临时文件最后再rename)，遍历新进程的内存中数据，每条记录有一条的Set语句，重写aof文件的操作，并没有读取旧的aof文件，而是将整个内存中的数据库内容用命令的方式重写一个新的aof文件，这点和快照有点类似
触发机制：Redis会记录上次重写时的AOF大小，默认配置是当AOF文件大小是上次rewrite后大小的一倍且文件大于64M时触发
优势
劣势
总结
Which one
RDB持久化方式能够在指定的时间间隔能对数据进行快照存储
AOF持久化方式记录每次对服务器写的操作，当服务器重启的时候会重新执行这些
命令来恢复原始的数据，AOF命令以redis协议追加保存每次写的操作到文件末尾
Redis还能对AOF文件进行后台重写，使得AOF文件的体积不至于过大
只做缓存: 如果只希望数据在服务器运行的时候存在，也可以不使用任何持久化方式
同时开启两种持久化方式
AOF文件保存的数据集要比RDB文件保存的数据集要完整
RDB的数据不实时，同时使用两者时服务器重启也只会找AOF文件，那要不要只使用AOF呢？
作者建议不要，因为RDB更适合用于备份数据库(AOF在不断变化不好备份)
快速重启，而且不会有AOF可能潜在的bug，留在作为一个万一的手段
性能建议
Redis的事务
可以一次执行多个命令，本质是一组命令的集合，一个事务的所有命令都会序列化，按顺序地串行化执行而不会被其它命令插入，不许加塞
一个队列中，一次性，顺序性，排它性的执行一系列命令
常用命令
DISCARD
EXEC
MULTI
UNWATCH
WATCH key [key ...]
监视一个(或多个)key，如果在事务执行之前这个(或这些)key被其它命令所改动，那么事务将被打断
WATCH监控
悲观锁/乐观锁/CAS(Check And Set)
悲观锁
Pessimistic Lock 每次去拿数据都认为别人会修改，所以每次在拿数据的时候都会上锁
这样别人想拿这个数据就会block直到它拿到锁，传统的关系型数据库用到很多这种机制
eg： 行锁，表锁等，读锁，写锁等，都是在做操作之前先上锁
乐观锁
Optimistic Lock 每次去拿数据的时候都认为别人不会修改，所以不会上锁，但是在更新的时候会判断在此期间别人有没有去更新这个数据，可以使用版本号等机制，乐观锁适用于多读的应用类型，这样可以提高吞吐量
乐观锁策略: 提交版本必须大于记录当前版本才能执行更新
一旦执行exec之前加的监控锁都会被取消掉
Watch指令，类似乐观锁，事务提交时，如果key的值已被别的客户端改变
eg: 某个list已被别的客户端push/pop过，整个事务队列都不会被执行
通过WATCH命令在事务执行之前监控多个keys，倘若在WATCH之后有任何Key的值发生变化
EXEC命令执行的事务都将被放弃，同时返回Nullmulti-bulk应答以通知调用者事务执行失败
3阶段
3特性
Redis的发布订阅
进程间的一种消息通信模式: 发送者(pub)发送消息，订阅者(sub)接收消息
订阅/发布消息图
Redis的复制(Master/Slave)
主从复制，主机数据更新后根据配置和策略，自动同步到备机的master/slaver机制，Master以写为主
Slave以读为主
读写分离，容灾恢复
配从不配主
从库配置: slaveof 主库IP 主库端口
常用方式
一主二仆：一台主机两台从机
薪火相传: 上一个Slave可以是下一个slave的Master，Slave同样可以接收其它slaves的连接和同步请求
? 那么该slave作为链条中下一个的master，可以有效减轻master的写压力
? 中途变更转向: 会清除之前的数据，重新建立拷贝最新的
? Slaveof 新主库IP 新主库端口
反客为主: Slaveof no one --> 使当前数据库停止与其它数据库的同步，转成主数据库
复制原理
Slave启动成功连接到master后会发送一个sync命令
Master接到命令启动后台的存盘进程，同时收集所有接收到的用于修改数据集命令
在后台进程执行完毕之后，master将传送整个数据文件到slave，以完成一次完全同步
全量复制: slave服务在接收到数据库文件数据后，将其存盘并加载到内存中，
增量复制: Master继续将新的所有收集到的修改命令依次传给slave，完成同步
? 但是只要重新连接master，一次完全同步(全量复制)将被自动执行
哨兵模式(sentinel)
复制的缺点
修改配置文件细节操作
查看Redis是否启动
标签：www 消耗cpu error pre session hash 特殊 主从复制 core
原文地址：https://www.cnblogs.com/xuzhaoping/p/11701007.html
