Python3 爬虫学习笔记 C16【数据储存系列 — Redis】
Python3 爬蟲學習筆記第十六章 —— 【數據儲存系列 — Redis】
文章目錄
- 【16.1】關于 Redis
- 【16.2】使用 Redis
- 【16.3】Key(鍵)操作
- 【16.4】String(字符串)操作
- 【16.5】Hash(哈希表)操作
- 【16.6】List(列表)操作
- 【16.7】Set(集合)操作
- 【16.8】SortedSet(有序集合)操作
- 【16.9】RedisDump
- 【16.9.1】導出數據 redis-dump
- 【16.9.2】導入數據 redis-load
【16.1】關于 Redis
Redis 是一個基于內存的高效的鍵值型(key-value)非關系型數據庫,它支持存儲的 value 類型非常多,包括 string(字符串)、list(鏈表)、set(集合)、zset(sorted set --有序集合) 和 hash(哈希類型),它的性能十分優越,可以支持每秒十幾萬此的讀/寫操作,其性能遠超數據庫,并且還支持集群、分布式、主從同步等配置,原則上可以無限擴展,讓更多的數據存儲在內存中,此外,它還支持一定的事務能力,這保證了高并發的場景下數據的安全和一致性。
【16.2】使用 Redis
首先安裝 Redis 和 redis-py 庫,管理 Redis 可以使用可視化工具 Redis Desktop Manager,該工具現在收費了,分享個 0.8.8.384 的免費版本
安裝 redis-py 庫:pip install redis
Redis 官網:https://redis.io
官方文檔:https://redis.io/documentation
中文官網:http://www.redis.cn
中文教程:http://www.runoob.com/redis/redis-tutorial.html
GitHub:https://github.com/antirez/redis
Redis Windows下載地址一:https://github.com/microsoftarchive/redis/releases (最新版 3.2.100,似乎不再更新)
Redis Windows下載地址二:https://github.com/tporadowski/redis/releases (最新版)
Redis Desktop Manager 官網:https://redisdesktop.com/
Redis Desktop Manager 0.8.8.384 免費版:https://pan.baidu.com/s/18MKeCqT0MG0hc89jfkpIkA (提取碼:3ovc)
利用 Python 連接 Redis 示例:
from redis import StrictRedisredis = StrictRedis(host='localhost', port=6379, db=0, password='000000') redis.set('name', 'TRHX') print(redis.get('name'))傳入 Redis 的地址、運行端口、使用的數據庫和密碼, 4 個參數默認值分別為 localhost、6379、0 和 None,聲明一個 StrictRedis 對象,調用 set() 方法,設置一個鍵值對,輸出結果如下:
b'TRHX'另外也可以使用 ConnectionPool 來連接:
from redis import StrictRedis, ConnectionPool pool = ConnectionPool(host='localhost', port=6379, db=0, password='000000') redis = StrictRedis(connection_pool=pool)ConnectionPool 也支持通過 URL 來構建:
redis://[:password]@host:port/db # 創建 Redis TCP 連接 rediss://[:password]@host:port/db # 創建 Redis TCP+SSL 連接 unix://[:password]@/path/to/socket.sock?db=db # 創建 Redis UNIX socket 連接代碼示例:
from redis import StrictRedis, ConnectionPoolurl = 'redis://:000000@localhost:6379/0' pool = ConnectionPool.from_url(url) redis = StrictRedis(connection_pool=pool)以下是有關的鍵操作、字符串操作、列表操作、集合操作、散列操作的各種方法,記錄一下,方便查閱
來源:《Python3 網絡爬蟲開發實戰(崔慶才著)》
Redis 命令參考:http://redisdoc.com/ 、http://doc.redisfans.com/
【16.3】Key(鍵)操作
| exists(name) | 判斷一個鍵是否存在 | name:鍵名 | redis.exists(‘name’) | 是否存在 name 這個鍵 | True |
| delete(name) | 刪除一個鍵 | name:鍵名 | redis.delete(‘name’) | 刪除 name 這個鍵 | 1 |
| type(name) | 判斷鍵類型 | name:鍵名 | redis.type(‘name’) | 判斷 name 這個鍵類型 | b’string’ |
| keys(pattern) | 獲取所有符合規則的鍵 | pattern:匹配規則 | redis.keys(‘n*’) | 獲取所有以 n 開頭的鍵 | [b’name’] |
| randomkey() | 獲取隨機的一個鍵 | randomkey() | 獲取隨機的一個鍵 | b’name’ | |
| rename(src, dst) | 重命名鍵 | src:原鍵名;dst:新鍵名 | redis.rename(‘name’, ‘nickname’) | 將 name 重命名為 nickname | True |
| dbsize() | 獲取當前數據庫中鍵的數目 | dbsize() | 獲取當前數據庫中鍵的數目 | 100 | |
| expire(name, time) | 設定鍵的過期時間,單位為秒 | name:鍵名;time:秒數 | redis.expire(‘name’, 2) | 將 name 鍵的過期時間設置為 2 秒 | True |
| ttl(name) | 獲取鍵的過期時間,單位為秒,-1 表示永久不過期 | name:鍵名 | redis.ttl(‘name’) | 獲取 name 這個鍵的過期時間 | -1 |
| move(name, db) | 將鍵移動到其他數據庫 | name:鍵名;db:數據庫代號 | move(‘name’, 2) | 將 name 移動到 2 號數據庫 | True |
| flushdb() | 刪除當前選擇數據庫中的所有鍵 | flushdb() | 刪除當前選擇數據庫中的所有鍵 | True | |
| flushall() | 刪除所有數據庫中的所有鍵 | flushall() | 刪除所有數據庫中的所有鍵 | True |
【16.4】String(字符串)操作
| set(name, value) | 給數據庫中鍵名為 name 的 string 賦予值 value | name:鍵名;value:值 | redis.set(‘name’, ‘Bob’) | 給 name 這個鍵的 value 賦值為 Bob | True |
| get(name) | 返回數據庫中鍵名為 name 的 string 的 value | name:鍵名 | redis.get(‘name’) | 返回 name 這個鍵的 value | b’Bob’ |
| getset(name, value) | 給數據庫中鍵名為 name 的 string 賦予值 value 并返回上次的 value | name:鍵名;value:新值 | redis.getset(‘name’, ‘Mike’) | 賦值 name 為 Mike 并得到上次的 value | b’Bob’ |
| mget(keys, *args) | 返回多個鍵對應的 value 組成的列表 | keys:鍵名序列 | redis.mget([‘name’, ‘nickname’]) | 返回 name 和 nickname 的 value | [b’Mike’, b’Miker’] |
| setnx(name, value) | 如果不存在這個鍵值對,則更新 value,否則不變 | name:鍵名 | redis.setnx(‘newname’, ‘James’) | 如果 newname 這個鍵不存在,則設置值為 James | 第一次運行結果是 True,第二次運行結果是 False |
| setex(name, time, value) | 設置可以對應的值為 string 類型的 value,并指定此鍵值對應的有效期 | name:鍵名;time:有效期;value:值 | redis.setex(‘name’, 1, ‘James’) | 將 name 這個鍵的值設為 James,有效期為 1 秒 | True |
| setrange(name, offset, value) | 設置指定鍵的 value 值的子字符串 | name:鍵名;offset:偏移量;value:值 | redis.set(‘name’, ‘Hello’) redis.setrange (‘name’, 6, ‘World’) | 設置 name 為 Hello 字符串,并在 index 為 6 的位置補 World | 11,修改后的字符串長度 |
| mset(mapping) | 批量賦值 | mapping:字典或關鍵字參數 | redis.mset({‘name1’: ‘Durant’, ‘name2’: ‘James’}) | 將 name1 設為 Durant,name2 設為 James | True |
| msetnx(mapping) | 鍵均不存在時才批量賦值 | mapping:字典或關鍵字參數 | redis.msetnx({‘name3’: ‘Smith’, ‘name4’: ‘Curry’}) | 在 name3 和 name4 均不存在的情況下才設置二者值 | True |
| incr(name, amount=1) | 鍵名為 name 的 value 增值操作,默認為 1,鍵不存在則被創建并設為 amount | name:鍵名;amount:增長的值 | redis.incr(‘age’, 1) | age 對應的值增 1,若不存在,則會創建并設置為 1 | 1,即修改后的值 |
| decr(name, amount=1) | 鍵名為 name 的 value 減值操作,默認為 1,鍵不存在則被創建并將 value 設置為 - amount | name:鍵名;amount:減少的值 | redis.decr(‘age’, 1) | age 對應的值減 1,若不存在,則會創建并設置為-1 | -1,即修改后的值 |
| append(key, value) | 鍵名為 key 的 string 的值附加 value | key:鍵名 | redis.append(‘nickname’, ‘OK’) | 向鍵名為 nickname 的值后追加 OK | 13,即修改后的字符串長度 |
| substr(name, start, end=-1) | 返回鍵名為 name 的 string 的子字符串 | name:鍵名;start:起始索引;end:終止索引,默認為-1,表示截取到末尾 | redis.substr(‘name’, 1, 4) | 返回鍵名為 name 的值的字符串,截取索引為 1~4 的字符 | b’ello’ |
| getrange(key, start, end) | 獲取鍵的 value 值從 start 到 end 的子字符串 | key:鍵名;start:起始索引;end:終止索引 | redis.getrange(‘name’, 1, 4) | 返回鍵名為 name 的值的字符串,截取索引為 1~4 的字符 | b’ello |
【16.5】Hash(哈希表)操作
| hset(name, key, value) | 向鍵名為 name 的散列表中添加映射 | name:鍵名;key:映射鍵名;value:映射鍵值 | hset(‘price’, ‘cake’, 5) | 向鍵名為 price 的散列表中添加映射關系,cake 的值為 5 | 1,即添加的映射個數 |
| hsetnx(name, key, value) | 如果映射鍵名不存在,則向鍵名為 name 的散列表中添加映射 | name:鍵名;key:映射鍵名;value:映射鍵值 | hsetnx(‘price’, ‘book’, 6) | 向鍵名為 price 的散列表中添加映射關系,book 的值為 6 | 1,即添加的映射個數 |
| hget(name, key) | 返回鍵名為 name 的散列表中 key 對應的值 | name:鍵名;key:映射鍵名 | redis.hget(‘price’, ‘cake’) | 獲取鍵名為 price 的散列表中鍵名為 cake 的值 | 5 |
| hmget(name, keys, *args) | 返回鍵名為 name 的散列表中各個鍵對應的值 | name:鍵名;keys:鍵名序列 | redis.hmget(‘price’, [‘apple’, ‘orange’]) | 獲取鍵名為 price 的散列表中 apple 和 orange 的值 | [b’3’, b’7’] |
| hmset(name, mapping) | 向鍵名為 name 的散列表中批量添加映射 | name:鍵名;mapping:映射字典 | redis.hmset(‘price’, {‘banana’: 2, ‘pear’: 6}) | 向鍵名為 price 的散列表中批量添加映射 | True |
| hincrby(name, key, amount=1) | 將鍵名為 name 的散列表中映射的值增加 amount | name:鍵名;key:映射鍵名;amount:增長量 | redis.hincrby(‘price’, ‘apple’, 3) | key 為 price 的散列表中 apple 的值增加 3 | 6,修改后的值 |
| hexists(name, key) | 鍵名為 name 的散列表中是否存在鍵名為鍵的映射 | name:鍵名;key:映射鍵名 | redis.hexists(‘price’, ‘banana’) | 鍵名為 price 的散列表中 banana 的值是否存在 | True |
| hdel(name, *keys) | 在鍵名為 name 的散列表中,刪除鍵名為鍵的映射 | name:鍵名;keys:鍵名序列 | redis.hdel(‘price’, ‘banana’) | 從鍵名為 price 的散列表中刪除鍵名為 banana 的映射 | True |
| hlen(name) | 從鍵名為 name 的散列表中獲取映射個數 | name:鍵名 | redis.hlen(‘price’) | 從鍵名為 price 的散列表中獲取映射個數 | 6 |
| hkeys(name) | 從鍵名為 name 的散列表中獲取所有映射鍵名 | name:鍵名 | redis.hkeys(‘price’) | 從鍵名為 price 的散列表中獲取所有映射鍵名 | [b’cake’, b’book’, b’banana’, b’pear’] |
| hvals(name) | 從鍵名為 name 的散列表中獲取所有映射鍵值 | name:鍵名 | redis.hvals(‘price’) | 從鍵名為 price 的散列表中獲取所有映射鍵值 | [b’5’, b’6’, b’2’, b’6’] |
| hgetall(name) | 從鍵名為 name 的散列表中獲取所有映射鍵值對 | name:鍵名 | redis.hgetall(‘price’) | 從鍵名為 price 的散列表中獲取所有映射鍵值對 | {b’cake’: b’5’, b’book’: b’6’, b’orange’: b’7’, b’pear’: b’6’} |
【16.6】List(列表)操作
| rpush(name, *values) | 在鍵名為 name 的列表末尾添加值為 value 的元素,可以傳多個 | name:鍵名;values:值 | redis.rpush(‘list’, 1, 2, 3) | 向鍵名為 list 的列表尾添加 1、2、3 | 3,列表大小 |
| lpush(name, *values) | 在鍵名為 name 的列表頭添加值為 value 的元素,可以傳多個 | name:鍵名;values:值 | redis.lpush(‘list’, 0) | 向鍵名為 list 的列表頭部添加 0 | 4,列表大小 |
| llen(name) | 返回鍵名為 name 的列表的長度 | name:鍵名 | redis.llen(‘list’) | 返回鍵名為 list 的列表的長度 | 4 |
| lrange(name, start, end) | 返回鍵名為 name 的列表中 start 至 end 之間的元素 | name:鍵名;start:起始索引;end:終止索引 | redis.lrange(‘list’, 1, 3) | 返回起始索引為 1 終止索引為 3 的索引范圍對應的列表 | [b’3’, b’2’, b’1’] |
| ltrim(name, start, end) | 截取鍵名為 name 的列表,保留索引為 start 到 end 的內容 | name:鍵名;start:起始索引;end:終止索引 | ltrim(‘list’, 1, 3) | 保留鍵名為 list 的索引為 1 到 3 的元素 | True |
| lindex(name, index) | 返回鍵名為 name 的列表中 index 位置的元素 | name:鍵名;index:索引 | redis.lindex(‘list’, 1) | 返回鍵名為 list 的列表索引為 1 的元素 | b’2’ |
| lset(name, index, value) | 給鍵名為 name 的列表中 index 位置的元素賦值,越界則報錯 | name:鍵名;index:索引位置;value:值 | redis.lset(‘list’, 1, 5) | 將鍵名為 list 的列表中索引為 1 的位置賦值為 5 | True |
| lrem(name, count, value) | 刪除 count 個鍵的列表中值為 value 的元素 | name:鍵名;count:刪除個數;value:值 | redis.lrem(‘list’, 2, 3) | 將鍵名為 list 的列表刪除兩個 3 | 1,即刪除的個數 |
| lpop(name) | 返回并刪除鍵名為 name 的列表中的首元素 | name:鍵名 | redis.lpop(‘list’) | 返回并刪除名為 list 的列表中的第一個元素 | b’5’ |
| rpop(name) | 返回并刪除鍵名為 name 的列表中的尾元素 | name:鍵名 | redis.rpop(‘list’) | 返回并刪除名為 list 的列表中的最后一個元素 | b’2’ |
| blpop(keys, timeout=0) | 返回并刪除名稱在 keys 中的 list 中的首個元素,如果列表為空,則會一直阻塞等待 | keys:鍵名序列;timeout:超時等待時間,0 為一直等待 | redis.blpop(‘list’) | 返回并刪除鍵名為 list 的列表中的第一個元素 | [b’5’] |
| brpop(keys, timeout=0) | 返回并刪除鍵名為 name 的列表中的尾元素,如果 list 為空,則會一直阻塞等待 | keys:鍵名序列;timeout:超時等待時間,0 為一直等待 | redis.brpop(‘list’) | 返回并刪除名為 list 的列表中的最后一個元素 | [b’2’] |
| rpoplpush(src, dst) | 返回并刪除名稱為 src 的列表的尾元素,并將該元素添加到名稱為 dst 的列表頭部 | src:源列表的鍵;dst:目標列表的 key | redis.rpoplpush(‘list’, ‘list2’) | 將鍵名為 list 的列表尾元素刪除并將其添加到鍵名為 list2 的列表頭部,然后返回 | b’2’ |
【16.7】Set(集合)操作
| sadd(name, *values) | 向鍵名為 name 的集合中添加元素 | name:鍵名;values:值,可為多個 | redis.sadd(‘tags’, ‘Book’, ‘Tea’, ‘Coffee’) | 向鍵名為 tags 的集合中添加 Book、Tea 和 Coffee 這 3 個內容 | 3,即插入的數據個數 |
| srem(name, *values) | 從鍵名為 name 的集合中刪除元素 | name:鍵名;values:值,可為多個 | redis.srem(‘tags’, ‘Book’) | 從鍵名為 tags 的集合中刪除 Book | 1,即刪除的數據個數 |
| spop(name) | 隨機返回并刪除鍵名為 name 的集合中的一個元素 | name:鍵名 | redis.spop(‘tags’) | 從鍵名為 tags 的集合中隨機刪除并返回該元素 | b’Tea’ |
| smove(src, dst, value) | 從 src 對應的集合中移除元素并將其添加到 dst 對應的集合中 | src:源集合;dst:目標集合;value:元素值 | redis.smove(‘tags’, ‘tags2’, ‘Coffee’) | 從鍵名為 tags 的集合中刪除元素 Coffee 并將其添加到鍵為 tags2 的集合 | True |
| scard(name) | 返回鍵名為 name 的集合的元素個數 | name:鍵名 | redis.scard(‘tags’) | 獲取鍵名為 tags 的集合中的元素個數 | 3 |
| sismember(name, value) | 測試 member 是否是鍵名為 name 的集合的元素 | name:鍵值 | redis.sismember(‘tags’, ‘Book’) | 判斷 Book 是否是鍵名為 tags 的集合元素 | True |
| sinter(keys, *args) | 返回所有給定鍵的集合的交集 | keys:鍵名序列 | redis.sinter([‘tags’, ‘tags2’]) | 返回鍵名為 tags 的集合和鍵名為 tags2 的集合的交集 | {b’Coffee’} |
| sinterstore(dest, keys, *args) | 求交集并將交集保存到 dest 的集合 | dest:結果集合;keys:鍵名序列 | redis.sinterstore (‘inttag’, [‘tags’, ‘tags2’]) | 求鍵名為 tags 的集合和鍵名為 tags2 的集合的交集并將其保存為 inttag | 1 |
| sunion(keys, *args) | 返回所有給定鍵的集合的并集 | keys:鍵名序列 | redis.sunion([‘tags’, ‘tags2’]) | 返回鍵名為 tags 的集合和鍵名為 tags2 的集合的并集 | {b’Coffee’, b’Book’, b’Pen’} |
| sunionstore(dest, keys, *args) | 求并集并將并集保存到 dest 的集合 | dest:結果集合;keys:鍵名序列 | redis.sunionstore (‘inttag’, [‘tags’, ‘tags2’]) | 求鍵名為 tags 的集合和鍵名為 tags2 的集合的并集并將其保存為 inttag | 3 |
| sdiff(keys, *args) | 返回所有給定鍵的集合的差集 | keys:鍵名序列 | redis.sdiff([‘tags’, ‘tags2’]) | 返回鍵名為 tags 的集合和鍵名為 tags2 的集合的差集 | {b’Book’, b’Pen’} |
| sdiffstore(dest, keys, *args) | 求差集并將差集保存到 dest 集合 | dest:結果集合;keys:鍵名序列 | redis.sdiffstore (‘inttag’, [‘tags’, ‘tags2’]) | 求鍵名為 tags 的集合和鍵名為 tags2 的集合的差集并將其保存為 inttag | 3 |
| smembers(name) | 返回鍵名為 name 的集合的所有元素 | name:鍵名 | redis.smembers(‘tags’) | 返回鍵名為 tags 的集合的所有元素 | {b’Pen’, b’Book’, b’Coffee’} |
| srandmember(name) | 隨機返回鍵名為 name 的集合中的一個元素,但不刪除元素 | name:鍵值 | redis.srandmember(‘tags’) | 隨機返回鍵名為 tags 的集合中的一個元素 | Srandmember (name) |
【16.8】SortedSet(有序集合)操作
| zadd(name, args, *kwargs) | 向鍵名為 name 的 zset 中添加元素 member,score 用于排序。如果該元素存在,則更新其順序 | name:鍵名;args:可變參數 | redis.zadd(‘grade’, 100, ‘Bob’, 98, ‘Mike’) | 向鍵名為 grade 的 zset 中添加 Bob(其 score 為 100),并添加 Mike(其 score 為 98) | 2,即添加的元素個數 |
| zrem(name, *values) | 刪除鍵名為 name 的 zset 中的元素 | name:鍵名;values:元素 | redis.zrem(‘grade’, ‘Mike’) | 從鍵名為 grade 的 zset 中刪除 Mike | 1,即刪除的元素個數 |
| zincrby(name, value, amount=1) | 如果在鍵名為 name 的 zset 中已經存在元素 value,則將該元素的 score 增加 amount;否則向該集合中添加該元素,其 score 的值為 amount | name:鍵名;value:元素;amount:增長的 score 值 | redis.zincrby(‘grade’, ‘Bob’, -2) | 鍵名為 grade 的 zset 中 Bob 的 score 減 2 | 98.0,即修改后的值 |
| zrank(name, value) | 返回鍵名為 name 的 zset 中元素的排名,按 score 從小到大排序,即名次 | name:鍵名;value:元素值 | redis.zrank(‘grade’, ‘Amy’) | 得到鍵名為 grade 的 zset 中 Amy 的排名 | 1 |
| zrevrank(name, value) | 返回鍵為 name 的 zset 中元素的倒數排名(按 score 從大到小排序),即名次 | name:鍵名;value:元素值 | redis.zrevrank (‘grade’, ‘Amy’) | 得到鍵名為 grade 的 zset 中 Amy 的倒數排名 | 2 |
| zrevrange(name, start, end, withscores= False) | 返回鍵名為 name 的 zset(按 score 從大到小排序)中 index 從 start 到 end 的所有元素 | name:鍵值;start:開始索引;end:結束索引;withscores:是否帶 score | redis.zrevrange (‘grade’, 0, 3) | 返回鍵名為 grade 的 zset 中前四名元素 | [b’Bob’, b’Mike’, b’Amy’, b’James’] |
| zrangebyscore (name, min, max, start=None, num=None, withscores=False) | 返回鍵名為 name 的 zset 中 score 在給定區間的元素 | name:鍵名;min:最低 score;max:最高 score;start:起始索引;num:個數;withscores:是否帶 score | redis.zrangebyscore (‘grade’, 80, 95) | 返回鍵名為 grade 的 zset 中 score 在 80 和 95 之間的元素 | [b’Bob’, b’Mike’, b’Amy’, b’James’] |
| zcount(name, min, max) | 返回鍵名為 name 的 zset 中 score 在給定區間的數量 | name:鍵名;min:最低 score;max:最高 score | redis.zcount(‘grade’, 80, 95) | 返回鍵名為 grade 的 zset 中 score 在 80 到 95 的元素個數 | 2 |
| zcard(name) | 返回鍵名為 name 的 zset 的元素個數 | name:鍵名 | redis.zcard(‘grade’) | 獲取鍵名為 grade 的 zset 中元素的個數 | 3 |
| zremrangebyrank (name, min, max) | 刪除鍵名為 name 的 zset 中排名在給定區間的元素 | name:鍵名;min:最低位次;max:最高位次 | redis.zremrangebyrank (‘grade’, 0, 0) | 刪除鍵名為 grade 的 zset 中排名第一的元素 | 1,即刪除的元素個數 |
| zremrangebyscore (name, min, max) | 刪除鍵名為 name 的 zset 中 score 在給定區間的元素 | name:鍵名;min:最低 score;max:最高 score | redis.zremrangebyscore (‘grade’, 80, 90) | 刪除 score 在 80 到 90 之間的元素 | 1,即刪除的元素個數 |
【16.9】RedisDump
RedisDump 是 Redis 一個數據導入導出工具,是基于 Ruby 實現的,首先訪問 Ruby 官網安裝對應操作系統的 Ruby:http://www.ruby-lang.org/zh_cn/downloads/ ,安裝完成即可使用 gem 命令,該命令類似于 Python 當中的 pip 命令,使用 gem install redis-dump 即可完成 RedisDump 的安裝,安裝完成后就可以使用導出數據 redis-dump 命令和導入數據 redis-load 命令了
【16.9.1】導出數據 redis-dump
在命令行輸入 redis-dump -h 可以查看:
Usage: E:/Ruby26-x64/bin/redis-dump [global options] COMMAND [command options]-u, --uri=S Redis URI (e.g. redis://hostname[:port])-d, --database=S Redis database (e.g. -d 15)-a, --password=S Redis password (e.g. -a 'my@pass/word')-s, --sleep=S Sleep for S seconds after dumping (for debugging)-c, --count=S Chunk size (default: 10000)-f, --filter=S Filter selected keys (passed directly to redis' KEYS command)-b, --base64 Encode key values as base64 (useful for binary values)-O, --without_optimizations Disable run time optimizations-V, --version Display version-D, --debug--nosafe命令解釋:
- -u Redis 連接字符串
- -d 數據庫代號
- -a 數據庫密碼
- -s 導出之后的休眠時間
- -c 分塊大小,默認是 10000
- -f 導出時的過濾器
- -b 將鍵值編碼為 base64(對二進制值有用)
- -O 禁用運行時優化
- -V 顯示版本
- -D 開啟調試
導出數據示例:
redis-dump# 指定端口 redis-dump -u 127.0.0.1:6379# 指定端口和密碼 redis-dump -u :password@127.0.0.1:6379# 導出指定數據庫 redis-dump -u 127.0.0.1:6379 -d 3# 導出包含特定值的數據 redis-dump -u 127.0.0.1:6379 -f age輸出示例:
# 導出所有數據 {"db":0,"key":"name5","ttl":-1,"type":"string","value":"DDD","size":3} {"db":0,"key":"name2","ttl":-1,"type":"string","value":"AAA","size":3} {"db":0,"key":"name4","ttl":-1,"type":"string","value":"CCC","size":3} {"db":0,"key":"name6","ttl":-1,"type":"string","value":"CCC","size":3} {"db":0,"key":"name","ttl":-1,"type":"string","value":"TRHX","size":4} {"db":0,"key":"name3","ttl":-1,"type":"string","value":"BBB","size":3} {"db":1,"key":"name2","ttl":-1,"type":"string","value":"BBB","size":3} {"db":1,"key":"name1","ttl":-1,"type":"string","value":"AAA","size":3} {"db":2,"key":"name2","ttl":-1,"type":"string","value":"BBB","size":3} {"db":2,"key":"name1","ttl":-1,"type":"string","value":"AAA","size":3} {"db":3,"key":"name2","ttl":-1,"type":"string","value":"HHH","size":3} {"db":3,"key":"name1","ttl":-1,"type":"string","value":"RRR","size":3} {"db":4,"key":"age","ttl":-1,"type":"string","value":"20","size":2} {"db":4,"key":"age2","ttl":-1,"type":"string","value":"19","size":2}# 導出 3 號數據庫 {"db":3,"key":"name2","ttl":-1,"type":"string","value":"HHH","size":3} {"db":3,"key":"name1","ttl":-1,"type":"string","value":"RRR","size":3}# 導出 key 包含 age 的數據 {"db":4,"key":"age","ttl":-1,"type":"string","value":"20","size":2} {"db":4,"key":"age2","ttl":-1,"type":"string","value":"19","size":2}導出所有數據為 JSON 文件:
redis-dump -u 127.0.0.1:6379 > db_full.json該命令將會在當前目錄生成一個名為 db_full.json 的文件,文件內容如下:
{"db":0,"key":"name5","ttl":-1,"type":"string","value":"DDD","size":3} {"db":0,"key":"name2","ttl":-1,"type":"string","value":"AAA","size":3} {"db":0,"key":"name4","ttl":-1,"type":"string","value":"CCC","size":3} {"db":0,"key":"name6","ttl":-1,"type":"string","value":"CCC","size":3} {"db":0,"key":"name","ttl":-1,"type":"string","value":"TRHX","size":4} {"db":0,"key":"name3","ttl":-1,"type":"string","value":"BBB","size":3} {"db":1,"key":"name2","ttl":-1,"type":"string","value":"BBB","size":3} {"db":1,"key":"name1","ttl":-1,"type":"string","value":"AAA","size":3} {"db":2,"key":"name2","ttl":-1,"type":"string","value":"BBB","size":3} {"db":2,"key":"name1","ttl":-1,"type":"string","value":"AAA","size":3} {"db":3,"key":"name2","ttl":-1,"type":"string","value":"HHH","size":3} {"db":3,"key":"name1","ttl":-1,"type":"string","value":"RRR","size":3} {"db":4,"key":"age","ttl":-1,"type":"string","value":"20","size":2} {"db":4,"key":"age2","ttl":-1,"type":"string","value":"19","size":2}使用參數 -d 指定某個數據庫的所有數據導出為 JSON 文件:
redis-dump -u 127.0.0.1:6379 -d 4 > db_db4.json該命令會將 4 號數據庫的數據導出到 db_db4.json 文件:
{"db":4,"key":"age","ttl":-1,"type":"string","value":"20","size":2} {"db":4,"key":"age2","ttl":-1,"type":"string","value":"19","size":2}使用參數 -f 過濾數據,只導出特定的數據:
redis-dump -u 127.0.0.1:6379 -f name > db_name.json該命令會導出 key 包含 name 的數據到 db_name.json 文件:
{"db":0,"key":"name5","ttl":-1,"type":"string","value":"DDD","size":3} {"db":0,"key":"name2","ttl":-1,"type":"string","value":"AAA","size":3} {"db":0,"key":"name4","ttl":-1,"type":"string","value":"CCC","size":3} {"db":0,"key":"name6","ttl":-1,"type":"string","value":"CCC","size":3} {"db":0,"key":"name","ttl":-1,"type":"string","value":"TRHX","size":4} {"db":0,"key":"name3","ttl":-1,"type":"string","value":"BBB","size":3} {"db":1,"key":"name2","ttl":-1,"type":"string","value":"BBB","size":3} {"db":1,"key":"name1","ttl":-1,"type":"string","value":"AAA","size":3} {"db":2,"key":"name2","ttl":-1,"type":"string","value":"BBB","size":3} {"db":2,"key":"name1","ttl":-1,"type":"string","value":"AAA","size":3} {"db":3,"key":"name2","ttl":-1,"type":"string","value":"HHH","size":3} {"db":3,"key":"name1","ttl":-1,"type":"string","value":"RRR","size":3}【16.9.2】導入數據 redis-load
在命令行輸入 redis-load -h 可以查看:
redis-load --help Try: redis-load [global options] COMMAND [command options] -u, --uri=S Redis URI (e.g. redis://hostname[:port]) -d, --database=S Redis database (e.g. -d 15) -s, --sleep=S Sleep for S seconds after dumping (for debugging) -n, --no_check_utf8 -V, --version Display version -D, --debug --nosafe命令解釋:
- -u Redis 連接字符串
- -d 數據庫代號,默認是全部
- -s 導出之后的休眠時間
- -n 不檢測 UTF-8 編碼
- -V 顯示版本
- -D 開啟調試
導入示例:
# 將 test.json 文件所有內容導入到數據庫 < test.json redis-load -u 127.0.0.1:6379# 將 test.json 文件 db 值為 6 的數據導入到數據庫 < test.json redis-load -u 127.0.0.1:6379 -d 6另外,以下方法也能導入數據:
# 將 test.json 文件所有內容導入到數據庫 cat test.json | redis-load -u 127.0.0.1:6379# 將 test.json 文件 db 值為 6 的數據導入到數據庫 cat test.json | redis-load -u 127.0.0.1:6379 -d 6注意:cat 是 Linux 系統專有的命令,在 Windows 系統里沒有 cat 這個命令,可以使用 Windows 批處理命令 type 代替 cat
總結
以上是生活随笔為你收集整理的Python3 爬虫学习笔记 C16【数据储存系列 — Redis】的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 我国GDP再迎突破,今年大概率超车欧盟,
- 下一篇: 有什么样的理财方式,能既保障本金安全,又