狂神 redis笔记 docker
首先介紹redis默認端口號為6379,為什么嘞,主要粉絲效應!
#redis中文命令手冊
https://www.redis.com.cn/commands.html
docker pull redis
下載redis
如使用非root用戶,則需要在命令前加上sudo命令,否則會報錯
sudo mkdir -p /mydata/redis/conf
sudo touch /mydata/redis/conf/redis.conf
創建redis.conf 配置文件
[root@localhost ~]# docker run -p 6379:6379 --name redis -v /mydata/redis/data:/data -v /mydata/redis/conf/redis.conf:/etc/redis/redis.conf -d redis redis-server /etc/redis/redisnbZX.conf
啟動redis
[root@localhost ~]# docker exec -it redis redis-server -v
Redis server v=6.0.10 sha=00000000:0 malloc=jemalloc-5.1.0 bits=64 build=66898bb7acd47e81
此上代碼為查看redis版本,可以看出我的版本下載的位6.0.10
[root@localhost ~]# docker exec -it redis redis-cli
docker連接redis容器命令↑
127.0.0.1:6379> ping
PONG
輸入ping如顯示pong則啟動測試成功
127.0.0.1:6379> set name xiaoxue
OK
127.0.0.1:6379> get name
“xiaoxue”
127.0.0.1:6379> keys *
此上為測試redis功能
127.0.0.1:6379> shutdown
關閉redis
**
性能測試
**
redis-benchmark是一個壓力測試工具 !
官方自帶的性能測試工具 !
redis-benchmark命令參數 !
上圖參數來自菜鳥教程
[root@192 bin]# redis-benchmark -h localhost -p 6379 -c 100 -n 100000
linux下測試性能
[root@192 bin]# docker exec -it 705c1a53a8bf redis-benchmark -h 127.0.0.1 -p 6379 -c 100 -n 100000
以上為docker鏡像下調用壓測命令
上圖為測試過程
基礎知識
redis默認有16個數據庫
默認是第0個
127.0.0.1:6379> select 3 #切換數據庫
OK
127.0.0.1:6379[3]> DBSIZE # 查看DB大小!
(integer) 0
127.0.0.1:6379[1]> keys *
keys * 查看數據庫所以的key
127.0.0.1:6379[1]> flushdb
OK
127.0.0.1:6379[1]> keys *
(empty array)
flushdb 清除當前數據庫
127.0.0.1:6379[3]> flushall
OK
127.0.0.1:6379[3]> keys *
(empty array)
127.0.0.1:6379[3]> select 0
OK
127.0.0.1:6379> keys *
(empty array)
flushall 清空所有數據庫內容
Redis是單線程的!
Redis是很快的,官方表示,Redis是基于內存操作,CPU不是Redis性能瓶頸,Redis的瓶頸是根據機器的內存和網絡帶寬,既然可以使用單線程實現,就使用單線程了!
Redis 是C語言寫的,官方提供的數據為 100000+ 的QPS ,這個完全不比同樣使用key-value的Memecache差!
Redis為什么單線程還這么快?
1、誤區1:高性能的服務器一定是多線程的?
2、誤區2:多線程(CPU上下文會切換! )一定比單線程效率高!
CPU>內存>硬盤的速度要有所了解 !
核心: redis是將所有的數據全部放在內存中的,所以說使用單線程去操作效率就是最高的,多線程(CPU上下文會切換:耗時的操作! ! !),對于內存系統來說,如果沒有上下文切換效率就是最高的!多次讀寫都是在一個CPU上的,在內存情況下,這個就是最佳的方案 !
五大數據類型
Redis-Key
String
List
Set
Hash
Zset
三種特殊數據類型
geospatial
hyperloglog
bitmaps
127.0.0.1:6379> EXISTS name # 判斷當前key是否存在,存在返回1,不存在返回0
(integer) 1
127.0.0.1:6379> EXISTS number
(integer) 0
127.0.0.1:6379> move name 1 # 移除當前key
(integer) 1
EXPIRE name 5 #設置key過期時間,單位是秒,過期后會自動刪除
(integer) 0
127.0.0.1:6379> ttl name #查看當前key剩余時間
(integer) 2
127.0.0.1:6379> ttl name
(integer) -2
127.0.0.1:6379> get name
“shsha”
127.0.0.1:6379> type name #查看當前key的類型
string
String(字符串)
127.0.0.1:6379> set xue c
OK
127.0.0.1:6379> get xue
“c”
127.0.0.1:6379> APPEND xue " big" #追加字符串,如果當前key不存在,該命令相當于set key
(integer) 5
127.0.0.1:6379> get xue
“c big”
127.0.0.1:6379> STRLEN xue # 獲取字符串長度
(integer) 5
127.0.0.1:6379> set mones 0 #初始瀏覽量為0
OK
127.0.0.1:6379> get mones
“0”
127.0.0.1:6379> incr views #自增1 瀏覽量+1
(integer) 1
127.0.0.1:6379> get mones
“0”
127.0.0.1:6379> incr views
(integer) 2
127.0.0.1:6379> decr views #自減1瀏覽量-1
(integer) 1
127.0.0.1:6379> decr views
(integer) 0
127.0.0.1:6379> decr views
(integer) -1
127.0.0.1:6379> get mones
“0”
127.0.0.1:6379> INCRBY mones 10 #可以設置指定增量
(integer) 10
127.0.0.1:6379> DECRBY mones 8 #可以設置指定減量
(integer) 2
127.0.0.1:6379> get mones
“hello mones”
127.0.0.1:6379> GETRANGE mones 0 3 #截取指定字符串[0,3]
“hell”
127.0.0.1:6379> GETRANGE mones 0 -1 #獲取全部的字符串,和get key一樣
“hello mones”
127.0.0.1:6379> get mones2
“asdfgh”
127.0.0.1:6379> SETRANGE mones2 1 nn #替換指定位置開始的字符串
(integer) 6
127.0.0.1:6379> get mones2
“annfgh”
setex #設置過期時間
setnx #不存在在設置(分布式鎖中常用)
127.0.0.1:6379> setex mones3 10 “hi baby” #設置mones3 的值為 hi baby,10秒后過期
OK
127.0.0.1:6379> setnx monesluna “redis” #如果monesluna存在,創建失敗
(integer) 1
127.0.0.1:6379> mset k1 v1 k2 v2 k3 v3 #批量設置,同時設置多個值
OK
127.0.0.1:6379> keys *
127.0.0.1:6379> mget k1 k2 k3 #批量獲取key值,同時獲取多個值
127.0.0.1:6379> msetnx k1 v1 k4 v4 #msetnx是一個原子性操作,要么一起成功,要么一起失敗
(integer) 0
127.0.0.1:6379> set user:1 {name:zhangsan,age:3}#設置一個user:1對象 值為json字符來保存一個對象!
OK
127.0.0.1:6379> get user:1
“{name:zhangsan,age:3}”
#以下為key的巧妙設計: user:{id}:{filed} ,如此設計在Redis中完全ok!
127.0.0.1:6379> mset user:1:name lisi user:1:age 10
OK
127.0.0.1:6379> mget user:1:name user:1:age
##getset #先get然后set
127.0.0.1:6379> getset db redis #如果不存在值,則返回nil
(nil)
127.0.0.1:6379> get db
“redis”
127.0.0.1:6379> getset db mongodb #如果存在值,則返回原來的值,并設置成新值
“redis”
127.0.0.1:6379> get db
“mongodb”
小總結:String類似的使用常見:value除了是我們的字符串還可以是我們的數字!
●計數器
●統計多單位的數量
●粉絲數
●對象緩存存儲!
List(列表)
在redis里,可以把list玩成,棧,隊列,阻塞隊列!
所以list命令 以l開頭,redis不區分大小寫命令
127.0.0.1:6379> LPUSH list one #將一個值或多個值,插入到列表頭部(左)
(integer) 1
127.0.0.1:6379> LPUSH list two
(integer) 2
127.0.0.1:6379> LPUSH list three
(integer) 3
127.0.0.1:6379> LRANGE list 0 -1
127.0.0.1:6379> LRANGE list 0 1
127.0.0.1:6379> RPUSH list four #將一個或多個值,插入到列表尾部(右)
(integer) 4
127.0.0.1:6379> LRANGE list 0 -1
127.0.0.1:6379> Lpop list #移除list第一個元素
“three”
127.0.0.1:6379> LRANGE list 0 -1
127.0.0.1:6379> Rpop list #移除list最后一個元素
“four”
127.0.0.1:6379> LRANGE list 0 -1
127.0.0.1:6379> Lindex list 1 #通過下標獲得list中的某一個值
“one”
127.0.0.1:6379> Lindex list 0
“two”
127.0.0.1:6379> llen list #返回列表的長度
(integer) 2
127.0.0.1:6379> lrem list 1 one #移除list集合中指定個數的value,精確匹配
(integer) 1
127.0.0.1:6379> Rpush mylist “mones1”
(integer) 1
127.0.0.1:6379> Rpush mylist “mones2”
(integer) 2
127.0.0.1:6379> Rpush mylist “mones3”
(integer) 3
127.0.0.1:6379> Rpush mylist “mones4”
(integer) 4
127.0.0.1:6379> Ltrim mylist 1 2 #通過下標截取指定位置的長度,這個list已經被改變,只剩下截取的元素
OK
127.0.0.1:6379> LRANGE mylist 0 -1
127.0.0.1:6379> Rpush mylist “ss”
(integer) 1
127.0.0.1:6379> Rpush mylist “dd”
(integer) 2
127.0.0.1:6379> Rpush mylist “cc”
(integer) 3
127.0.0.1:6379> Rpush mylist “ff”
(integer) 4
127.0.0.1:6379> RpopLpush mylist myotherlist #移除列表中的最后一個元素,將他移動到新的列表中
“ff”
127.0.0.1:6379> LRANGE mylist 0 -1 #查看原來的列表
127.0.0.1:6379> LRANGE myotherlist 0 -1 #查看目標列表中,確實存在該值
127.0.0.1:6379> lRANGE mylist 0 -1
127.0.0.1:6379> lset mylist 0 haha #將列表中指定下標的值,替換為另外一個值,更新操作,如果列表不存在或沒有該索引,則會報錯(error)
OK
127.0.0.1:6379> lRANGE mylist 0 -1
Linsert #將某個具體的value插入到列表中某個元素的前面或后面
127.0.0.1:6379> LRANGE list 0 -1
127.0.0.1:6379> LINSERT list before bb hello #linsert before 插入到某元素前面
(integer) 5
127.0.0.1:6379> LRANGE list 0 -1
127.0.0.1:6379> LINSERT list after cc mones #linsert before 插入到某元素后面
(integer) 6
127.0.0.1:6379> LRANGE list 0 -1
list小結
●他實際上是一個鏈表,before Node after ,left,right都可以插入值
●如果key不存在,創建新的鏈表
●如果key存在,新增內容
●如果移除了所以值,空鏈表,也代表不存在!
●在兩邊插入或者改動值,效率最高!中間元素,相對啦愛說效率會低一些
消息排隊 !消息隊列 (Lpush Rpop),棧(Lpush Lpop)
Set(集合)
set無序不重復 set中的值是不能重復的
127.0.0.1:6379> sadd myset “hello” #set集合中添加元素
(integer) 1
127.0.0.1:6379> sadd myset “mones”
(integer) 1
127.0.0.1:6379> sadd myset “luna”
(integer) 1
127.0.0.1:6379> Smembers myset #查看指定set的所有值
127.0.0.1:6379> Sismember myset “hello” #判斷某一個值是不是在set集合中存在返回1
(integer) 1
127.0.0.1:6379> Sismember myset sss##判斷某一個值是不是在set集合中存在返回1,不存在返回0
(integer) 0
127.0.0.1:6379> scard myset #獲取set集合中的元素個數!
(integer) 3
127.0.0.1:6379> srem myset hello #移除set集合中指定元素
(integer) 1
127.0.0.1:6379> scard myset
(integer) 2
127.0.0.1:6379> smembers myset
127.0.0.1:6379> SRANDMEMBER myset #隨機抽選出一個元素
“hahah”
127.0.0.1:6379> SRANDMEMBER myset
“mones”
127.0.0.1:6379> SRANDMEMBER myset 2 #隨機抽選出指定個數的元素
127.0.0.1:6379> smembers myset
127.0.0.1:6379> spop myset #隨機刪除某一個set集合中的元素
“hahah”
127.0.0.1:6379> smembers myset
127.0.0.1:6379> sadd myset hello
(integer) 1
127.0.0.1:6379> sadd myset world
(integer) 1
127.0.0.1:6379> sadd myset mones
(integer) 1
127.0.0.1:6379> sadd myset luna
(integer) 1
127.0.0.1:6379> smove myset myset2 “mones” #將一個指定的值,移動到另外一個set集合
(integer) 1
127.0.0.1:6379> smembers myset
127.0.0.1:6379> smembers myset2
sdiff 差集 sinter交集 sunion并集
Hash(哈希)
Map集合,key-map 這個值是一個map集合 !
127.0.0.1:6379> hset maphash key1 mones #set一個具體的key -value
(integer) 1
127.0.0.1:6379> hset maphash key2 luna
(integer) 1
127.0.0.1:6379> hget maphash key1 #get一個具體的key
“mones”
127.0.0.1:6379> hget maphash key2
“luna”
127.0.0.1:6379> hmset maphash key1 thanks key2 thanks2 #設置多個key-value
OK
127.0.0.1:6379> hmget maphash key1 key2 #獲取多個key-value
127.0.0.1:6379> hdel maphash key1 #刪除hash指定key字段!對應的value值也就消失了
(integer) 1
127.0.0.1:6379> hgetall maphash #獲取全部數據
127.0.0.1:6379> hlen maphash #獲取hash表的字段數量
(integer) 1
127.0.0.1:6379> HEXISTS maphash key2 #判斷hash中指定字段是否存在,存在返回1,否則返回0
(integer) 1
127.0.0.1:6379> HEXISTS maphash key1
(integer) 0
127.0.0.1:6379> hkeys maphash #獲得所有key
127.0.0.1:6379> hvals maphash #獲取所有value
Zset(有序集合)
在set的基礎上,增加了一個值,set k1 v1 zset k1 score1 v1
127.0.0.1:6379> zadd score 500 xiaoxue #zset集合中添加元素
(integer) 1
127.0.0.1:6379> zadd score 300 dige
(integer) 1
127.0.0.1:6379> zadd score 600 pipi
(integer) 1
#ZRANGEBYSCORE key min max
127.0.0.1:6379> ZRANGEBYSCORE score -inf +inf #顯示全部的用戶 從小到大
127.0.0.1:6379> zrevrange score 0 -1 #顯示全部用戶 從大到小
127.0.0.1:6379> ZRANGEBYSCORE score -inf +inf withscores #顯示全部的用戶并且附帶成績
127.0.0.1:6379> ZRANGEBYSCORE score -inf 550 withscores #顯示score小于550的員工的升序排列
##############
127.0.0.1:6379> zrange score 0 -1 #遍歷有序集合
127.0.0.1:6379> zrem score pipi #移除有序集合中的指定元素
(integer) 1
127.0.0.1:6379> zrange score 0 -1
127.0.0.1:6379> zcard score #獲取有序集合中的個數
(integer) 2
127.0.0.1:6379> zadd myset 1 hello 2 world 3 xiaoxue #批量插入
(integer) 3
127.0.0.1:6379> zcount myset 1 3 #獲取指定區間的成員數量!
(integer) 3
127.0.0.1:6379> zcount myset 1 2
(integer) 2
其余的一些API,通過我們的學習,剩下的,如果工作中有需要,可以去查看官方文檔!官方文檔是最正確的!
案例思路:zset 排序 存儲班級成績表,工資表排序
普通消息 1,重要消息 2,帶權重進行判斷 !
排行榜應用實現,取Top N測試 !
三種特殊數據類型
geospatial 地理位置
朋友的定位,附近的人,打車距離計算?
Redis的Geo 在Redis3.2版本就推出了!這個功能可以推算地理位置的信息,兩地之間的舉例,方圓幾里的人!
可以查詢一些測試數據:http://www.jsons.cn/xiehouyu/
只有六個命令
官方文檔:https://www.redis.net.cn/order
geoadd:添加地理位置的坐標。
規則:兩級無法直接添加,我們一般會下載城市數據,直接通過java程序一次性導入!
有效的經度從-180度到180度。
有效的緯度從-85.05112878度到85.05112878度。
當坐標位置超出上述指定范圍時,該命令將會返回一個錯誤。
127.0.0.1:6379> geoadd china:city 22.547 114.08 shenzhen
(integer) 1
127.0.0.1:6379> geoadd china:city 31.242 121.18 shanghai
(integer) 1
127.0.0.1:6379> geoadd china:city 118.80 32.06 nanjing
(integer) 1
127.0.0.1:6379> geoadd china:city 106.55 29.56 chongqing
(integer) 1
127.0.0.1:6379> geoadd china:city 125.15 42.93 xian
(integer) 1
127.0.0.1:6379> geoadd china:city 114.65 33.60 zhoukou
(integer) 1
geopos:獲取地理位置的坐標。
127.0.0.1:6379> GEOPOS china:city xian chongqing zhoukou
127.0.0.1:6379> GEOPOS china:city nanjing
geodist:計算兩個位置之間的距離。
單位:
● m 表示單位為米
● km 表示單位為千米
● mi 表示單位為英里
● ft 表示單位為英尺
127.0.0.1:6379> GEODIST china:city chongqing zhoukou
“888935.4795”
127.0.0.1:6379> GEODIST china:city nanjing xian
“1331555.6271”
127.0.0.1:6379> GEODIST china:city nanjing xian km
“1331.5556”
georadius:根據用戶給定的經緯度坐標來獲取指定范圍內的地理位置集合。附近的人
所有數據都應該錄入:china:city,才會讓結果更加清晰!
127.0.0.1:6379> GEORADIUS china:city 110 30 1000 km #以110 30 這個經緯度為中心方圓1000km內的城市
127.0.0.1:6379> GEORADIUS china:city 110 30 500 km #以110 30 這個經緯度為中心方圓500km內的城市
127.0.0.1:6379> GEORADIUS china:city 110 30 500 km withdist #以110 30 為中心方圓500km的城市及其相距的距離
127.0.0.1:6379> GEORADIUS china:city 110 30 500 km withcoord #以110 30 為中心方圓500km的城市及其坐標
127.0.0.1:6379> GEORADIUS china:city 110 30 1000 km withdist withcoord count 1 #以110 30 為中心方圓1000km的城市及其相距距離和坐標,只能顯示一條
127.0.0.1:6379> GEORADIUS china:city 110 30 1000 km withdist withcoord count 2
#以110 30 為中心方圓1000km的城市及其相距距離和坐標,只能顯示兩條
127.0.0.1:6379> GEORADIUS china:city 110 30 1000 km withdist withcoord count 3
georadiusbymember:根據儲存在位置集合里面的某個地點獲取指定范圍內的地理位置集合。
#找出位于指定元素范圍內的其它元素
127.0.0.1:6379> GEORADIUSBYMEMBER china:city nanjing 1000 km #找出位于nanjing 1000km的其它城市
127.0.0.1:6379> GEORADIUSBYMEMBER china:city zhoukou 500 km
geohash:返回一個或多個位置對象的 geohash 值。
將二維的經緯度轉換為一維的字符串,如果兩個字符串越接近,那么距離越近
127.0.0.1:6379> geohash china:city chongqing zhoukou
GEO的底層實現原理其實就是Zset!我們可以使用Zset命令來操作geo !
127.0.0.1:6379> zrange china:city 0 -1 #查看地圖中全部的元素
127.0.0.1:6379> zrem china:city xian #刪除地圖中指定元素
(integer) 1
127.0.0.1:6379> zrange china:city 0 -1
hyperloglog
什么是基數?
A{1,2,3,4,5,6,5,4}
B{1,3,5,7}
基數(不重復打的元素) = 3,可以接受誤差
簡介
Redis 2.8.9版本就更新了Hyperloglog數據結構!
Redis Hyperloglog基數統計的算法
優點:占用的內存是固定的,2^64不同的元素的技術,只需要12KB內存!如果從內存角度來比較的話Hyperloglog首選!
網頁的UV(一個人訪問一個網站多次,但是還是算作一個人!)
傳統的方式,set保存用戶的id,然后就可以統計set中的元素數量作為標準判斷!
這個方式如果保存大量的用戶id,就會比較麻煩!我們的目的是為了計數,而不是為了保存用戶id;
0.81%錯誤率!統計UV任務,可以忽略不計的!
測試使用
127.0.0.1:6379> PFadd mykey a b c d e f g h i j #創建第一組元素mykey
(integer) 1
127.0.0.1:6379> PFCOUNT mykey #統計mykey元素的基數數量
(integer) 10
127.0.0.1:6379> PFadd mykey2 a b c d e b c n f #創建第一組元素mykey
(integer) 1
127.0.0.1:6379> PFCOUNT mykey2
(integer) 7
127.0.0.1:6379> PFMERGE mykey3 mykey mykey2 #合并mykey mykey2 => mykey3 并集
OK
127.0.0.1:6379> PFCOUNT mykey3 #查看并集的數量
(integer) 11
如果允許容錯,那么一定可以使用Hyperloglog !
如果不允許容錯,就使用set或者自己的數據類型即可 !
bitmap
位存儲
統計用戶信息,活躍,不活躍 !登錄 未登錄 ! 打卡 365天打卡 ! 兩個狀態的, 都可以使用 Bitmaps !
Bitmaps 位圖 數據結構 ! 都是操作二進制位來進行記錄,就只有0和1兩個狀態 !
365天 = 365bit 1字節=8bit
使用bitmaps來記錄 周一到周日的打卡 !
周一:1 周二 : 0 周三: 0 …
127.0.0.1:6379> setbit sign 0 1
(integer) 0
127.0.0.1:6379> setbit sign 1 0
(integer) 0
127.0.0.1:6379> setbit sign 2 0
(integer) 0
127.0.0.1:6379> setbit sign 3 1
(integer) 0
127.0.0.1:6379> setbit sign 4 1
(integer) 0
127.0.0.1:6379> setbit sign 5 0
(integer) 0
127.0.0.1:6379> setbit sign 6 0
(integer) 0
查看某一天是否打卡
127.0.0.1:6379> getbit sign 4
(integer) 1
127.0.0.1:6379> getbit sign 5
(integer) 0
統計打卡的天數
127.0.0.1:6379> bitcount sign #統計這周的打卡記錄,就可以看到是否全勤
(integer) 3
事務
Redis 事務本質: 一組命令的集合! 一個事務中的所有命令都會被序列化,在事務執行過程中,會按照順序執行!
一次性、順序性、排他性!執行一些列的命令
Redis事務沒有隔離級別的概念!
所有命令在事務中,并沒有直接執行!只有發起執行命令的時候才會執行 !Exec
Redis單條命令是保證原子性的,但是事務不保證原子性!
redis的事務:
●開啟事務(multi)
●命令入隊(…)
●執行事務(exec)
正常執行事務
127.0.0.1:6379> multi 開啟事務
OK
127.0.0.1:6379> set k1 v1
QUEUED
127.0.0.1:6379> set k2 v2
QUEUED
127.0.0.1:6379> get k2
QUEUED
127.0.0.1:6379> get k3
QUEUED
127.0.0.1:6379> exec 執行事務
放棄事務
127.0.0.1:6379> multi 開啟事務
OK
127.0.0.1:6379> set a1 b1
QUEUED
127.0.0.1:6379> set a2 b2
QUEUED
127.0.0.1:6379> set a3 b3
QUEUED
127.0.0.1:6379> DISCARD 取消事務
OK
127.0.0.1:6379> get a3 事務隊列中的命令都不會被執行!
(nil)
127.0.0.1:6379> get a1
(nil)
編譯型異常(代碼有問題! 命令有錯 !),事務中所有的命令都不會被執行!
127.0.0.1:6379> multi
OK
127.0.0.1:6379> set k1 v1
QUEUED
127.0.0.1:6379> set k2 v2
QUEUED
127.0.0.1:6379> getset k3 v3
QUEUED
127.0.0.1:6379> getset k4 錯誤的命令
(error) ERR wrong number of arguments for ‘getset’ command
127.0.0.1:6379> getset k5 v5
QUEUED
127.0.0.1:6379> exec 執行事務報錯
(error) EXECABORT Transaction discarded because of previous errors.
127.0.0.1:6379> get k5 所以命令都不會執行
(nil)
運行時異常(1/0),如果事務隊列中存在與發行,那么執行命令的時候,其它命令是可以正常執行的,錯誤命令拋出異常
127.0.0.1:6379> set k1 “v1”
OK
127.0.0.1:6379> multi
OK
127.0.0.1:6379> incr k1 會執行的時候失敗
QUEUED
127.0.0.1:6379> set k2 v2
QUEUED
127.0.0.1:6379> set k3 v3
QUEUED
127.0.0.1:6379> get k2
QUEUED
127.0.0.1:6379> exec 雖然第一條命令報錯了,但是依舊正常執行成功了!
127.0.0.1:6379> get k3
“v3”
127.0.0.1:6379> get k1
“v1”
監控!Watch (面試場問)
悲觀鎖:
●很悲觀,認為什么時候都會出問題,無論做什么都會加鎖!
樂觀鎖:
●很樂觀,認為什么時候都不會出問題,所以不會上鎖!更新數據的時候去判斷一下,在此期間是否有人修改過這個數據
●獲取version
●更新的時候比較version
Redis監視測試
watch 監視對象當前值, 如果事務執行之間值被其它線程改變,則執行失敗,此時需要unwatch,然后重新watch
正常執行成功
127.0.0.1:6379> set money 100
OK
127.0.0.1:6379> set out 0
OK
127.0.0.1:6379> watch money 監視money對象
OK
127.0.0.1:6379> multi 事務正常結束,數據期間沒有發生變動,這個時候就正常執行成功
OK
127.0.0.1:6379> DECRBY money 20
QUEUED
127.0.0.1:6379> INCRBY out 20
QUEUED
127.0.0.1:6379> exec
測試多線程修改值,使用watch可以當做redis的樂觀鎖操作
127.0.0.1:6379> watch money 監視money對象
OK
127.0.0.1:6379> multi
OK
127.0.0.1:6379> DECRBY money 20
QUEUED
127.0.0.1:6379> INCRBY out 20
QUEUED
127.0.0.1:6379> exec 執行之前,另外一個線程修改了值,這個時候,會導致事務執行失敗!
(nil)
什么是Jedis 是Redis官方推薦的java連接開發工具!使用java操作Redis中間件!如果你要使用java操作redis,那么一定要對jedis十分的熟悉!
慢慢來會很快!
首先maven中導入地址
<dependencies><!-- https://mvnrepository.com/artifact/redis.clients/jedis --><dependency><groupId>redis.clients</groupId><artifactId>jedis</artifactId><version>3.2.0</version></dependency><!-- https://mvnrepository.com/artifact/com.alibaba/fastjson --><dependency><groupId>com.alibaba</groupId><artifactId>fastjson</artifactId><version>1.2.75</version></dependency></dependencies>●連接數據庫
●操作命令
●斷開連接!
public static void main(String[] args) {
//1. new Jedis 對象即可
Jedis jedis = new Jedis(“127.0.0.1”,6379);
//jedis所以的命令就是我們之前學習的所有命令!所以之前的指令學習很重要!
System.out.println(jedis.ping());
}
輸出:
常用API
String get set
List push rem
Set add
Hash hset
Zset zadd
SpringBoot操作數據: spring-data,jpa,jdbc mongodb redis !
SpringData 也是和SpringBoot齊名的項目 !
說明: 在SpringBoot2.0 以后,原來使用的jedis 被替換成了lettuce!
jedis:采用的直連,多個線程操作的話,是不安全的,如果想要避免不安全的,使用jedis pool連接池 ! 更像BIO 模式
lettuce:采用netty,實例可以在多個線程中進行共享,不存在線程不安全的情況!可以減少線程數據了,更像NIO 模式
整合測試一下
1.導入依賴
org.springframework.boot
spring-boot-starter-data-redis
2.配置連接
配置redis
spring.redis.host=127.0.0.1
spring.redis.port=6379
3.測試!
@Autowired
private RedisTemplate redisTemplate;
@Test
void contextLoads() {
// RedisConnection connection = redisTemplate.getConnectionFactory().getConnection();
// connection.flushDb();;
// connection.flushAll();
需要序列化pojo類中的對象,實現serializable接口,才能執行成功
可以通過編寫RedisUtill類來簡化代碼書寫
所以的redis操作,其實對于java開發人員來說,十分的簡單,更重要的是理解redis的思想和每一種數據結構的用處和作用場景!
Redis.conf詳解
啟動的時候,就通過配置文件來啟動!
網絡
bin 127.0.0.1 #綁定的ip
protected-mode yes #保護模式
port 6379 #端口設置
通用GENERAL
demonize yes # 以守護進程的方式運行,默認是no,我們需要自己開啟為yes
pidfile /var/run/redis_6379.pid #如果以后臺的方式運行,我們就需要指定一個pid文件!
快照
持久化,在規定的時間內,執行了多少次操作,則會持久化到文件,rdb、aof
redis是內存數據庫,如果沒有持久化,那么數據斷電即失 !
#如果900秒內,如果至少有一個1個key進行了修改,我們即進行持久化操作
save 900 1
#如果300s內,如果至少10個key進行了修改,我們即進行持久化操作
save 300 10
#如果60s內, 如果至少10000個key進行了操作,我們即進行持久化操作
save 60 10000
#我們之后學習持久化,會自己定義這個測試!
stop-writes-on-bgsave-error yes #持久化如果出錯,是否還需要繼續工作!
rdbcompression yes #是否壓縮rdb文件,需要消耗一些cpu資源!
rdbchecksum yes #保存rdb文件的時候,進行錯誤的檢查校驗
dir ./ # rdb 文件保存的目錄
REPLICATION復制,我們后面講解主從復制的時候再進行講解
SECURITY安全
可以在這里設置redis的密碼,默認是沒有密碼!
127.0.0.1:6379> ping
PONG
127.0.0.1:6379> clear
127.0.0.1:6379> config get requirepass # 獲取redis的密碼
127.0.0.1:6379> config set requirepass “123456”# 設置redis的密碼
OK
127.0.0.1:6379> config get requirepass**# 發現所有的命令都沒有權限了**
(error) NOAUTH Authentication required.
127.0.0.1:6379> auth 123456 # 使用密碼登錄!
ok
127.0.0.1:6379> config get requirepass
限制CLIENTS
maxclients 10000 設置能連接上redis的最大客戶端的數量
maxmemory redis 配置最大的內存容量
maxmemory-policy noeviction 內存到達上限之后的處理策略
#移除一些過期的key
#報錯
#…
maxmemory-policy 六種方式
1、volatile-lru:只對設置了過期時間的key進行LRU(默認值)
2、allkeys-lru : 刪除lru算法的key
3、volatile-random:隨機刪除即將過期key
4、allkeys-random:隨機刪除
5、volatile-ttl : 刪除即將過期的
6、noeviction : 永不過期,返回錯誤
APPEND ONLY模式 aof配置
appendonly no # 默認時不開啟aof模式的,默認是使用rdb方式持久化的,在大部分所有情況下,rdb完全夠用!
qppendfilename “appendonly.aof” # 持久化的文件的名字
appendfsync always # 每次修改都會sync。消耗性能
appendfsync everysec # 每秒執行一次synv,可能會丟失這ls的數據!
appendfsynv no #不執行sync,這個時候操作系統自己同步數據,速度最快!
具體的配置,在Redis持久化詳細講解
Redis持久化
面試和工作,持久化都是重點!
Redis是內存數據庫,如果不將內存中的數據庫狀態保存到磁盤,那么一旦服務器進程退出,服務器中的數據庫狀態也會小時。所以Redis提供了持久化功能!
RDB (Redis DataBase)
在主從復制中,rdb就是備用了!從機上面!
在指定的時間間隔內將內存中的數據集快照寫入磁盤,也就是行話講的Snapshot快照,它恢復時是將快照文件直接讀到內存里。
Redis會單獨創建(fork)一個子進程來進行持久化,會先將數據寫入到一個臨時文件中,待持久化過程都結束了,再用這個臨時文件替換上次持久化好的文件。整個過程中,主進程是不進行任何IO操作的。這就確保了極高的性能。如果需要進行大規模數據的恢復,且對于數據恢復的完整性不是非常敏感,那RDB方式要比AOF方式更加的高效,RDB的缺點就是最后一次持久化后的數據可能丟失。我們默認的就是RDB,一般情況下不需要修改這個配置!
有時候在生產環境我們會將這個文件進行備份 !
rdb保存的文件時dump.rdb 都是在我們的配置文件快照中進行配置的!
觸發機制
1.save的規則滿足的情況下,會自動觸發rdb規則
2.執行flushall命令,也會觸發我們的rdb規則
3.推出redis,也會產生rdb文件 !
備份就自動生成一個dump.rdb
如果恢復rdb文件!
1.只需要將rdb文件放在我們的redis啟動目錄就可以了,reids啟動的時候會自動檢查dump.rdb恢復其中的數據!
2.查看需要存放的位置
127.0.0.1:6379>config get dir
幾乎他自己默認的配置就夠用了,但是我們還是需要學習
優點
1.適合大規模的數據恢復!
2.對數據的完整性要求不高!
缺點
1.需要一定的時間間隔進程操作!如果redis意外宕機了,這個最后一次修改數據就沒有了
2.fork進程的時候,會占用一定的內存空間
AOF(Append Only File)
將所有的命令都記錄下來,history,恢復的時候就把這個文件全部執行一遍 !
以日志的形式來記錄每個寫操作,將Redis執行過的所有指令記錄下來(該操作不記錄),只許追加文件但不可以改寫文件,redis啟動之初會讀取該文件重新構建數據,換言之,redis重啟的話就根據日志文件的內容將寫指令從前到后執行一次以完成數據的恢復工作
*Aof保存的是appendonly.aof 文件 *
append
默認是不開啟的,我們需要手動進行配置!我們只需要將appendonly改為yes就開啟了aof!
重啟redis,就生效了!
如果這個aof文件有錯誤,這時候redis是啟動不起來的,我們需要修復這個aof文件
redis給我們提供給了一個工具 redis-check-aof
如果文件修復成功,重啟就可以直接恢復了
重寫規則說明
aof默認就是文件的無限追加,文件會越來越大!
如果aof文件大于64m,太大了!fork一個新的進程來講我們的文件進行重寫!
優點和缺點
appendonly no # 默認時不開啟aof模式的,默認是使用rdb方式持久化的,在大部分所有情況下,rdb完全夠用!
qppendfilename “appendonly.aof” # 持久化的文件的名字
appendfsync always # 每次修改都會sync。消耗性能
appendfsync everysec # 每秒執行一次synv,可能會丟失這ls的數據!
appendfsynv no #不執行sync,這個時候操作系統自己同步數據,速度最快!
優點:
1.每一次修改都同步,文件的完整性會更好!
2.每秒同步一次,可能會丟失一秒的數據
3.從不同步,效率最高的!
缺點:
1.相對于數據文件來說,aof遠遠大于rdb,修復速度也比rdb慢!
2.Aof運行效率也要比rdb慢,所以我們redis默認的配置就是rdb持久化!
Redis發布訂閱
Redis發布訂閱(pub/sub)是一種消息通信模式:發送者(pub)發送消息,訂閱者(sub)接收消息。
Redis客戶端可以訂閱任意數量的頻道。
訂閱/發布消息圖:
第一個:消息發送者,第二個:頻道 第三個:消息訂閱者
下圖展示了頻道channel1,以及訂閱這個頻道的三個客戶端— —
client2、client5和client之間的關系:
當有消息通過PUBLISH命令發送給頻道channel1時,這個消息就會被發送給訂閱它的三個客戶端:
命令
這些命令被廣泛用于構建即時通信應用,比如網絡聊天室(chatroom)和實時廣播,實時提醒等。
測試
訂閱端
127.0.0.1:6379> subscribe yuxiaoxue
Reading messages… (press Ctrl-C to quit)
等待讀取推送的信息
發送端
127.0.0.1:6379> publish yuxiaoxue “hello beautiful girl” # 發布者發布信息到頻道!
(integer) 1
127.0.0.1:6379> publish yuxiaoxue “hello redis” # 發布者發布信息到頻道!
(integer) 1
原理
使用場景:
1.實時消息系統!
2.實時聊天!(頻道當做聊天室,將信息回顯給所有人即可!)
3.訂閱,關注系統都是可以的!
稍微復雜的場景我們就會使用 消息中間件MQ()
Redis主從復制
概念
主從復制,是指將一臺Redis服務器的數據,復制到其他的Redis服務器,前者稱為主節點(master/leader),后者稱為從節點(slave/follwer);數據的復制是單向的,只能由主節點到從節點,Master以寫為主,Slave以讀為主。
默認情況下,每臺Redis都是主節點;且一個主節點可以有多個從節點(或沒有從節點),但一個從節點只能有一個主節點。
主從復制的作用主要包括:
1.數據冗余:主從復制實現了數據的熱備份,是持久化之外的一種數據冗余方式。
2.故障恢復:當主節點出現問題時,可以由從節點提供服務,實現快速的故障恢復;實際上是一種服務的冗余。
3.負載均衡:在主從復制的基礎上,配合讀寫分離,可以由主機誒單提供寫服務,由從節點提供讀服務(即寫Redis數據時應用連接主節點,讀Redis數據時應用連接從節點),分擔服務器負載:尤其是在寫少讀多的場景下,通過多個從節點分擔讀負載,可以大大提高Redis服務器的并發量。
4.高可用基石:除了上述作用以外,主從復制還是哨兵和集群能夠實施的基礎,因此說主從復制是Redis高可用的基礎。
一般來說,要將Redis運用于工程項目中,只使用一臺Redis是萬萬不能的(宕機),原因如下:
1.從結構上,單個Redsi服務器會發生單點故障,并且一臺服務器需要處理所有的負載均衡,壓力較大;
2.從容量上,單個Redis服務器內存容量有限,就算一臺Redis服務器內存容量為256G,也不能將所有的內存作Redis存儲內存,一般來說,單臺Redis最大使用內存不應該超過20G。
電商網站上的商品,一般都是一次上傳,無數次瀏覽的,說專業點也就是“多讀少寫”。
對于這種場景,我們可以使用如下這種架構:
主從復制,讀寫分離!80%的情況下都是在進行讀操作!減緩服務器的壓力!架構中經常使用!一主二從!
只要在公司中,主從復制就是就是必須要使用的,因為在真實的項目中不可能單機使用Redis!
環境配置
只配置從庫,不用配置主庫!
127.0.0.1:6379> info replication #查看當前庫的信息
Replication
role:master 角色 master
connected_slaves:0 #沒有從機
master_repl_offset:0
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0
復制3個配置文件,然后修改對應的信息
1.端口
2.pid名字
3.log文件名字
4.dump.rdb名字
修改完畢之后,啟動我們的3個redis服務器,可以通過進程信息查看!
一主二從
默認情況下,每臺Redis服務器都是主節點;我們一般情況下只用配置從機就好了!
認老大!一主(79)二從(80、81)
如果兩個都配置完,就有兩個從機
真實的主從配置應該在配置文件中配置,這樣的話是永久的,我們這里使用的是命令,暫時的!
細節
主機可以寫,從機不能寫只能讀!主機中的所有信息和數據,都會被從機自動保存 !
主機寫:
從機只能讀取內容
測試:主機斷開連接,從機依舊連接到主機的,但是沒有寫操作,這個時候,主機如果回來了,從機依舊可以直接獲取到主機寫的信息!
如果是命令行,來配置的主從,如果重啟了,就會變回主機!只要變回從機,立馬就會從主機中獲取值!
復制原理
如果沒有老大了,這個時候能不能選擇一個老大出來呢?手動!
謀朝篡位
如果主機斷開了連接,我們可以用 SLAVEOF NO ONE命令讓自己變成主機!其它的節點就可以手動連接到最新的這個主節點(手動) !如果這個時候老大修復了,只能重新配置
哨兵模式
(自動選取老大的模式)
概念
主從切換技術的方法是:當主服務器宕機后,需要手動把一臺從服務器切換為主服務器,這就需要人工干預,費時費力,還會造成一段時間內服務不可用。這不是一種推薦的方式,更多時候,我們優先考慮哨兵模式。Redis從2.8開始正式提供了Sentinel(哨兵)架構來解決這個問題。
謀朝篡位的自動版,能夠后臺監控主機是否故障,如果故障了根據投票數自動將從庫轉換為主庫。
哨兵模式是一種特殊的模式,首先Redis提供了哨兵的命令,哨兵是一個獨立的進程,作為進程,它會獨立運行。其原理是哨兵通過發送命令,等待Redis服務器響應,從而監控運行的多個Redis實例。
這里的哨兵有兩個作用
●通過發送命令,讓Redis服務器返回監控其運行狀態,包括主服務器和從服務器。
●當哨兵檢測到master宕機,會自動將Slave切換成master,然后通過發布訂閱模式通知其它的從服務器,修改配置文件,讓他們切換主機。
然而一個哨兵進程對Redis服務器進行監控,可能會出現問題,為此,我們可以使用多個哨兵進行監控,各個哨兵之間還會進行監控,這樣就形成了多哨兵模式。
假設主服務器宕機,哨兵1先檢測到這個結果,系統并不會馬上進行failover過程,僅僅是哨兵1主觀的認為服務器不可用,這個現象成為主觀下線。當后面的哨兵也檢測到主服務器不可用,并且數量打到一定值時,那么哨兵之間就會進行一次投票,投票的結果由一個哨兵發起,進行failover【故障轉移】操作。切換成功后,就會通過發布訂閱模式,讓各個哨兵把自己監控的從服務器實現切換主機,這個過程成為客觀下線。
測試
我們目前的狀態是一主二從
1、配置值哨兵配置文件sentinel.conf
后面的這個數字1,代表主機掛了,slave投票看讓誰接替成為主機,票數最多的,就會成為主機!
2、啟動哨兵 !
如果Master(主機)節點斷開了,這個時候就會從從機中隨機選擇一個服務器!(這里面有一個投票算法!)
哨兵日志
如果主機此時回來了,只能歸并到新的主機下,當做從機,這就是哨兵模式的規則!
哨兵模式
優點:
1、哨兵集群,基于主從復制模式,所以的主從配置優點,它全有
2、主從可以切換,故障可以轉換,系統的可用性就會更好
3、哨兵模式就是主從模式的升級,手動到自動,更加健壯!
缺點:
1、Redis不好在線擴容的,集群容量一旦達到上線,在線擴容就十分麻煩!
2、實現哨兵模式的配置其實是很麻煩的,里面有很多選擇!
哨兵模式的全部配置
社會目前程序員飽和(初級和中級)、高級程序員重金難求!(提升自己)
Redis緩存穿透和雪崩
緩存穿透 查不到
緩存擊穿 量太大,緩存過期
布隆過濾器
緩存空對象
當存儲層不命中后,即是返回的空對象也將其緩存起來,同時會設置一個過期時間,之后再訪問這個數據將會從緩存中獲取,保護了后端數據源;
一、緩存處理流程
前臺請求,后臺先從緩存中取數據,取到直接返回結果,取不到時從數據庫中取,數據庫取到更新緩存,并返回結果,數據庫也沒取到,那直接返回空結果。二、緩存穿透(查不到導致)
描述:緩存穿透是指緩存和數據庫中都沒有的數據,而用戶不斷發起請求,如發起為id為“-1”的數據或id為特別大不存在的數據。這時的用戶很可能是攻擊者,攻擊會導致數據庫壓力過大。 解決方案:接口層增加校驗,如用戶鑒權校驗,id做基礎校驗,id<=0的直接攔截;
從緩存取不到的數據,在數據庫中也沒有取到,這時也可以將key-value對寫為key-null,緩存有效時間可以設置短點,如30秒(設置太長會導致正常情況也沒法使用)。這樣可以防止攻擊用戶反復用同一個id暴力攻擊
三、緩存擊穿(量太大,緩存過期)
概述
緩存擊穿是指緩存中沒有但數據庫中有的數據(一般是緩存時間到期),這時由于并發用戶特別多,同時讀緩存沒讀到數據,又同時去數據庫去取數據,引起數據庫壓力瞬間增大,造成過大壓力解決方案
1.設置熱點數據永遠不過期。
2.加互斥鎖
分布式鎖:使用分布式鎖,保證對于每個key同時只有一個線程去查詢后端服務,其他線程沒有獲得分布式鎖的權限,因此只需要等待即可。這種方式將高并發的壓力轉移到了分布式鎖,因此對分布式鎖的考驗很大。
互斥鎖參考代碼如下:
說明:1)緩存中有數據,直接走上述代碼13行后就返回結果了2)緩存中沒有數據,第1個進入的線程,獲取鎖并從數據庫去取數據,沒釋放鎖之前,其他并行進入的線程會等待100ms,再重新去緩存取數據。這樣就防止都去數據庫重復取數據,重復往緩存中更新數據情況出現。3)當然這是簡化處理,理論上如果能根據key值加鎖就更好了,就是線程A從數據庫取key1的數據并不妨礙線程B取key2的數據,上面代碼明顯做不到這點。四、緩存雪崩
解決方案:
緩存數據的過期時間設置隨機,防止同一時間大量數據過期現象發生。
如果緩存數據庫是分布式部署,將熱點數據均勻分布在不同搞得緩存數據庫中。
設置熱點數據永遠不過期。
小結
聲明:此博客是在聽講狂神Redis課程總結,然后自己整理所得,僅供參考!!!如想學習,歡迎b站搜索 ‘遇見狂神說’*
總結
以上是生活随笔為你收集整理的狂神 redis笔记 docker的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: python计算两组数据的相关性_pyt
- 下一篇: 只会用 xxl-job?更强大的新一代分