Redis数据库

缓存数据库NoSQL(NoSQL Not Only SQL)意即泛指非关系型数据库关系型数据库mysqlsqliteoracle即存在强烈的数据关系是对不同于传统的关系型数据库的数据库管理系统的统称。NoSQL用于超大规模数据的存储。例如谷歌或Facebook每天为他们的用户收集万亿比特的数据。这些类型的数据存储不需要固定的模式无需多余操作就可以横向扩展。SNS 指社交网络 social network societyNoSQL数据库的四大类别键值Key-Value存储数据这一类数据库主要会使用到哟个哈希表这个表中有一个特定的键和一个指针指向特定的数据。Key/values模型对于IT系统来叔的优势在于简单、一部书。但是如果DBA只对部分值进行查询或更新的时候Key/values的方法效率低列存储数据大数据用的多这部分数据库通常是用来应对分布式存储的海量数据。键仍然存在但是它们的特点是指向了多个列。这些列是由列组来安排的文档型数据库文档型数据库的灵感是来自于Lotus Note办公软件的而且它同第一种键值存储相类似。该类型的数据模型是版本化的文档半结构化的文档以特定的格式存储。文档型数据库可以看成是键值数据库的升级版允许之间嵌套键值。而且文档型数据库比键值型数据库的查询效率更高图形Graph数据库图形结构的数据库同其他行列以及刚性结构的SQL数据库不同它是使用灵活的图形模型并且能够扩展到多个服务器上。NoSQL数据库没有标准的查询语言(SQL)因此进行数据库查询需要制定数据模型。许多NoSQL数据库都有REST式的数据接口或者查询API。总结NoSQL数据库在以下的这几种情况下比较适用1、数据模型比较简单2、需要灵活性更强的IT系统3、对数据库性能要求较高4、不需要高度的数据一致性5、对于给定key比较容易映射复杂值的环境。Redis缓存数据库把数据存在内存中redis的作用就是共享内存数据而且redis比字典强大很多Linux操作系统有七个终端单原则上可以开启无限个终端只要系统够强。Redis下载与安装1.下载压缩文件wget -c http://download.redis.io/releases/redis-4.0.6.tar.gz2.解压压缩包tar -zxvf redis-4.0.6.tar.gz3.安装到固定的文件夹中make PREFIX/opt/redis409 installredis的基本使用命令redis的启动命令 redis-server查看是否启动redis命令查看端口6379是否被redis-server使用ps -ef |grep redis进入客户端操作命令redis-cli 退出命令shutdownRedis API使用redis-py 的API的使用可以分类为连接方式连接池操作String操作Hash操作Set操作Sort Set 操作管道发布订阅redis的操作help 操作命令可以查看使用方式1.String 字符操作redis中的String在内存中按照一个name对应一个value来存储。name value n1 ------- v1 n2 ------- v2 n3 ------- v3进入数据库redis-cli设置nameset name eric # name为键 eric是值获取name值get name修改name值set name jing #直接在值的位置写要修改的值就OK了获取所有的键keys *setnamevalueexNonepxNonenxFlasexxFalse参数设置​ ex过期时间秒​ px过期时间毫秒​ nx如果设置为True则只有name不存在当前set操作才执行​ xx如果设置为True则只有name存在时当前set操作才执行setnxnamevalue设置值只有name不存在时执行设置操作添加setex(name, value, time)过期时间数字秒 或 timedelta对象psetex(name,time_ms,value)mset*args**kwargs批量设置值批量设置值​ mset‘k1’ : ‘v1’, ‘k2’ : ‘v2’或rget{ ‘k1’ : ‘v1’ , ‘k2’ : ‘v2’ }get(name):获取值mgetkeys*args批量获取值getsetname,value参数没有就设置有就获取设置新值并获取原来的值getrangekey,start,end参数执行切片操作setrangekey,offset,value参数修改字符串内容从指定字符串索引开始向后替换新值太长时则向后添加setbitname, offset, value对name对应值的二进制表示的位进行操作getbit (nameoffset获取name对应的值的二进制表示中的某位的值 0或1bitcount(key, startNone, endNone)# 获取name对应的值的二进制表示中 1 的个数strlen(name)返回name对应值的字节长度一个汉字3个字节incr(self, name, amount1)自增 name对应的值当name不存在时则创建nameamount否则则自增。incrbyfloat(self, name, amount1.0)自增 name对应的值当name不存在时则创建nameamount否则则自增。浮点型decr(self, name, amount1)# 自减 name对应的值当name不存在时则创建nameamount否则则自减。append(key, value)在redis name对应的值后面追加内容2.Hash 哈希操作hash表现形式上有些像python中的dict可以存储一组相关联性较强的数据redis中Hash在内存中的存储形式name hash n1 ----------- k1-v1 k2-v2 k3-v3 n2 ----------- k9-v99 kx-vxhset(name, key, value)# name对应的hash中设置一个键值对不存在则创建否则修改hmset (name, mapping)# 在name对应的hash中批量设置键值对hget (name, key): # 在name对应的hash中获取根据key获取valuehmget(name, keys, *args)# 在name对应的hash中获取多个key的值hkeys (name)# 获取name对应的hash中所有的key的值hgetall(name)#获取name对应hash的所有键值hlen(name)# 获取name对应的hash中键值对的个数hvals(name)# 获取name对应的hash中所有的value的值hexists(name, key)# 检查name对应的hash是否存在当前传入的keyhdel(name,*keys)# 将name对应的hash中指定key的键值对删除hincrby(name, key, amount1)# 自增name对应的hash中的指定key的值不存在则创建keyamounthincrbyfloat(name, key, amount1.0)# 自增name对应的hash中的指定key的值不存在则创建keyamounthscan(name, cursor0, matchNone, countNone)增量式迭代获取对于数据大的数据非常有用hscan可以实现分片的获取数据并非一次性将数据全部获取完从而放置内存被撑爆hscan_iter(name, matchNone, countNone)# 利用yield封装hscan创建生成器实现分批去redis中获取数据3.list 列表操作List操作redis中的List在在内存中按照一个name对应一个List来存储。name list n1 ----- [v1,v2,...] n2 ----- [v2,v33,...]lpush(name,values)# 在name对应的list中添加元素每个新的元素都添加到列表的最左边lpushx(name,value)# 在name对应的list中添加元素只有name已经存在时值添加到列表的最左边rpushx(name, value)# 表示从右向左操作llen(name)# name对应的list元素的个数linsert(name, where, refvalue, value))# 在name对应的列表的某一个值前或后插入一个新值r.lset(name, index, value)# 对name对应的list中的某一个索引位置重新赋值r.lrem(name, value, num)# 在name对应的list中删除指定的值lpop(name)# 在name对应的列表的左侧获取第一个元素并在列表中移除返回值则是第一个元素lindex(name, index)在name对应的列表中根据索引获取列表元素lrange(name, start, end)# 在name对应的列表分片获取数据ltrim(name, start, end)# 在name对应的列表中移除没有在start-end索引之间的值rpoplpush(src, dst)# 从一个列表取出最右边的元素同时将其添加至另一个列表的最左边blpop(keys, timeout)# 将多个列表排列按照从左到右去pop对应列表的元素brpoplpush(src, dst, timeout0)# 从一个列表的右侧移除一个元素并将其添加到另一个列表的左侧4.set集合操作Set操作Set集合就是不允许重复的列表sadd(name,values)# name对应的集合中添加元素scard(name)# 获取name对应的集合中元素个数sdiff(keys, *args)# 在第一个name对应的集合中且不在其他name对应的集合的元素集合sdiffstore(dest, keys, *args)# 获取第一个name对应的集合中且不在其他name对应的集合再将其新加入到dest对应的集合中sinter(keys, *args)# 获取多一个name对应集合的并集sinterstore(dest, keys, *args)# 获取多一个name对应集合的并集再讲其加入到dest对应的集合中sismember(name, value)# 检查value是否是name对应的集合的成员smembers(name)# 获取name对应的集合的所有成员smove(src, dst, value)# 将某个成员从一个集合中移动到另外一个集合spop(name)# 从集合的右侧尾部移除一个成员并将其返回srandmember(name, numbers)# 从name对应的集合中随机获取 numbers 个元素srem(name, values)# 在name对应的集合中删除某些值sunion(keys, *args)# 获取多一个name对应的集合的并集sunionstore(dest,keys, *args)# 获取多一个name对应的集合的并集并将结果保存到dest对应的集合中sscan(name, cursor0, matchNone, countNone)sscan_iter(name, matchNone, countNone)# 同字符串的操作用于增量迭代分批获取元素避免内存消耗太大有序集合在集合的基础上为每元素排序元素的排序需要根据另外一个值来进行比较所以对于有序集合每一个元素有两个值即值和分数分数专门用来做排序。zadd(name, *args, **kwargs)# 在name对应的有序集合中添加元素zcard(name)# 获取name对应的有序集合元素的数量zcount(name, min, max)# 获取name对应的有序集合中分数 在 [min,max] 之间的个数zincrby(name, value, amount)# 自增name对应的有序集合的 name 对应的分数r.zrange( name, start, end, descFalse, withscoresFalse, score_cast_funcfloat)# 按照索引范围获取name对应的有序集合的元素zrank(name, value)# 获取某个值在 name对应的有序集合中的排行从 0 开始zrem(name, values)# 删除name对应的有序集合中值是values的成员zremrangebyrank(name, min, max)# 根据排行范围删除zremrangebyscore(name, min, max)# 根据分数范围删除zscore(name, value)# 获取name对应有序集合中 value 对应的分数zinterstore(dest, keys, aggregateNone)# 获取两个有序集合的交集如果遇到相同值不同分数则按照aggregate进行操作zunionstore(dest, keys, aggregateNone)# 获取两个有序集合的并集如果遇到相同值不同分数则按照aggregate进行操作zscan(name, cursor0, matchNone, countNone, score_cast_funcfloat)zscan_iter(name, matchNone, countNone,score_cast_funcfloat)# 同字符串相似相较于字符串新增score_cast_func用来对分数进行操作其他常用操作delete(*names)# 根据删除redis中的任意数据类型exists(name)# 检测redis的name是否存在keys(pattern‘*’)# 根据模型获取redis的nameexpire(name ,time)# 为某个redis的某个name设置超时时间rename(src, dst)# 对redis的name重命名为move(name, db))# 将redis的某个值移动到指定的db下randomkey()# 随机获取一个redis的name不删除type(name)# 获取name对应值的类型scan(cursor0, matchNone, countNone)scan_iter(matchNone, countNone)# 同字符串操作用于增量迭代获取key连接方式1、操作模式redis-py提供两个类Redis和StrictRedis用于实现Redis的命令StrictRedis用于实现大部分官方的命令并使用官方的语法和命令Redis是StrictRedis的子类用于向后兼容旧版本的redis-py。import redis r redis.Redis(host10.211.55.4, port6379) r.set(foo, Bar) print r.get(foo)2、连接池redis-py使用connection pool来管理对一个redis server的所有连接避免每次建立、释放连接的开销。默认每个Redis实例都会维护一个自己的连接池。可以直接建立一个连接池然后作为参数Redis这样就可以实现多个Redis实例共享一个连接池。