收藏列表放入MySQL还是redis_mysql导入redis
程序遍歷MySQL然后插入Redis,效率極低。利用redis-cli命令行工具有一個批量插入模式,是專門為批量執行命令設計的。可以把Mysql查詢的內容格式化成redis-cli可用數據格式。
1, 根據表創建一個sql,將數據轉換為redis可用的格式
(1) 表結構
(2) Redis的數據格式
*3\r\n 命令起始,定義共3個輸入參數
$3\r\n 下一個參數字節長度
SET\r\n 命令參數
$3\r\n 下一個參數字節長度
key\r\n 變量參數
$5\r\n 下一個參數字節長度
value\r\n 值參數
注意:此處的\r\n為換行符,不是輸入的字符。linux下導出文件分隔符是\r\n,而windows下是\n。
(3) 創建sql文件,sql語句是將數據轉為redis可接收的語句
SELECT CONCAT(
"*4\r\n",
'$', LENGTH(redis_cmd), '\r\n',
redis_cmd, '\r\n',
'$', LENGTH(redis_key), '\r\n',
redis_key, '\r\n',
'$', LENGTH(hkey), '\r\n',
hkey, '\r\n',
'$', LENGTH(hval), '\r\n',
hval, '\r'
)
FROM (
SELECT
'HSET' as redis_cmd,
CONCAT('pid:' ,PID) AS redis_key,
ID AS hkey,
AREANAME AS hval
FROM td_area
) AS t
2,在有mysql客戶端的機器執行命令
mysql -uroot -p123456 -h 127.0.0.1 database --skip-column-names --raw < /home/redis.sql | /usr/local/redis/bin/redis-cli -p 6380 --pipe
重要的mysql參數說明:
--raw: 使mysql不轉換字段值中的換行符。
--skip-column-names: 使mysql輸出的每行中不包含列名。
然而在我的使用過程中發現了一個問題,由于業務關系,我的基礎業務數據庫中會存在空列,而這個又是關鍵數據,需要遷移到Redis中的。單純利用上述的SQL語句,進行操作的時候,Redis-cli會拋出“Unknown Command NULL on Redis.”
我們知道,Redis是可以存儲二進制數據的(而實際上Redis存儲的Value都是二進制格式存儲的),所以空數據理論上是可以存入的。然而根據觀察,Redis的空數據,表現為空字符串形式,即“”。所以,我們需要將我們數據庫中為NULL的數據,轉換成為“”進行輸出
SELECT CONCAT(
"*4\r\n",
\'$\', LENGTH(redis_cmd), \'\r\n\',
redis_cmd, \'\r\n\',
\'$\', LENGTH(redis_key), \'\r\n\',
redis_key, \'\r\n\',
\'$\', LENGTH(hkey), \'\r\n\',
hkey, \'\r\n\',
\'$\', LENGTH(hval), \'\r\n\',
hval, \'\r\'
)
FROM (
SELECT
\'HSET\' AS redis_cmd,
\'david\' AS redis_key,
myname AS hkey,
if(mymoney is not null, mymoney, '') AS hval
FROM david_lin
) AS t;
總結
以上是生活随笔為你收集整理的收藏列表放入MySQL还是redis_mysql导入redis的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 【youcans 的 OpenCV 例程
- 下一篇: java合并sheet行_java po