Lua语言模型 与 Redis应用
Lua語言模型 與 Redis應用
標簽: Java與NoSQL
從 2.6版本 起, Redis 開始支持 Lua 腳本 讓開發者自己擴展 Redis.
本篇博客主要介紹了 Lua 語言不一樣的設計模型(相比于Java/C/C++、JS、PHP), 以及 Redis 對 Lua 的擴展, 最后結合 Lua 與 Redis 實現了一個支持過期時間的分布式鎖. 我們希望這篇博客的讀者朋友可以在讀完這篇文字之后, 體會到 Lua 這門語言不一樣的設計哲學, 以及 更加得心應手的使用/擴展 Redis.
引
案例-實現訪問頻率限制: 實現訪問者 $ip 在一定的時間 $time 內只能訪問 $limit 次.- 非腳本實現
- 以上代碼有兩點缺陷
- 可能會出現競態條件: 解決方法是用 WATCH 監控 rate.limit:$IP 的變動, 但較為麻煩;
- 以上代碼在不使用 pipeline 的情況下最多需要向Redis請求5條指令, 傳輸過多.
Lua腳本實現
Redis 允許將 Lua 腳本傳到 Redis 服務器中執行, 腳本內可以調用大部分 Redis 命令, 且 Redis 保證腳本的原子性:- 首先需要準備Lua代碼: script.lua
- Java
- Lua 嵌入 Redis 優勢:
- 減少網絡開銷: 不使用 Lua 的代碼需要向 Redis 發送多次請求, 而腳本只需一次即可, 減少網絡傳輸;
- 原子操作: Redis 將整個腳本作為一個原子執行, 無需擔心并發, 也就無需事務;
- 復用: 腳本會永久保存 Redis 中, 其他客戶端可繼續使用.
Lua語言模型
Lua是一種 便于嵌入應用程序 的腳本語言, 具備了作為通用腳本語言的所有功能. 其高速虛擬機實現非常有名(Lua的垃圾回收很有講究- 增量垃圾回收 ), 在很多虛擬機系性能評分中都取得了優異的成績. Home lua.org.
以嵌入式為方針設計的Lua, 在默認狀態下簡潔得嚇人. 除了基本的數據類型外, 其他一概沒有. 標注庫也就 Coroutine、String、Table、Math、 I/O、OS, 再加上Modules包加載而已. 參考: Lua 5.1 Reference Manual - Standard Libraries(中文版: Lua 5.1 參考手冊).
注: 本文僅介紹 Lua 與眾不同的設計模型(對比 Java/C/C++、JavaScript、Python 與 Go), 語言細節可參考文內和附錄推薦的文章以及Lua之父Roberto Ierusalimschy的<Programming in Lua>(中文版: <LUA程序設計(第2版)>)
基礎
1. 數據類型
- 作為通用腳本語言, Lua的數據類型如下:
- 數值型:
全部為浮點數型, 沒有整型;
只有 nil 和 false 作為布爾值的 false , 數字 0 和空串（‘’/‘\0’）都是 true; - 字符串
- 用戶自定義類型
- 函數(function)
- 表(table)
- 數值型:
變量如果沒有特殊說明為全局變量(那怕是語句塊 or 函數內), 局部變量前需加local關鍵字.
2. 關鍵字
3. 操作符
- Tips:
- 數學操作符的操作數如果是字符串會自動轉換成數字;
- 連接 .. 自動將數值轉換成字符串;
- 比較操作符的結果一定是布爾類型, 且會嚴格判斷數據類型('1' != 1);
函數(function)
在 Lua 中, 函數是和字符串、數值和表并列的基本數據結構, 屬于第一類對象( first-class-object /一等公民), 可以和數值等其他類型一樣賦給變量、作為參數傳遞, 以及作為返回值接收(閉包):
- 使用方式類似JavaScript:
表(table)
Lua最具特色的數據類型就是表(Table), 可以實現數組、Hash、對象所有功能的萬能數據類型:
-- array local array = { 1, 2, 3 } print(array[1], #array)-- hash local hash = { x = 1, y = 2, z = 3 } print(hash.x, hash['y'], hash["z"], #hash)-- array & hash array['x'] = 8 print(array.x, #array)- Tips:
- 數組索引從1開始;
- 獲取數組長度操作符#其’長度’只包括以(正)整數為索引的數組元素.
- Lua用表管理全局變量, 將其放入一個叫_G的table內:
用Hash實現對象的還有JavaScript, 將數組和Hash合二為一的還有PHP.
元表
Every value in Lua can have a metatable/元表. This metatable is an ordinary Lua table that defines the behavior of the original value under certain special operations. You can change several aspects of the behavior of operations over a value by setting specific fields in its metatable. For instance, when a non-numeric value is the operand of an addition, Lua checks for a function in the field “__add” of the value’s metatable. If it finds one, Lua calls this function to perform the addition.
The key for each event in a metatable is a string with the event name prefixed by two underscores__; the corresponding values are called metamethods. In the previous example, the key is “__add” and the metamethod is the function that performs the addition.
metatable中的鍵名稱為事件/event, 值稱為元方法/metamethod, 我們可通過getmetatable()來獲取任一值的metatable, 也可通過setmetatable()來替換table的metatable. Lua 事件一覽表:
對于這些操作, Lua 都將其關聯到 metatable 的事件Key, 當 Lua 需要對一個值發起這些操作時, 首先會去檢查其metatable中是否有對應的事件Key, 如果有則調用之以控制Lua解釋器作出響應.
MetaMethods
MetaMethods主要用作一些類似C++中的運算符重載操作, 如重載+運算符:
local frac_a = { numerator = 2, denominator = 3 } local frac_b = { numerator = 4, denominator = 8 }local operator = {__add = function(f1, f2)local ret = {}ret.numerator = f1.numerator * f2.denominator + f1.denominator * f2.numeratorret.denominator = f1.denominator * f2.denominatorreturn retend,__tostring = function(self)return "{ " .. self.numerator .. " ," .. self.denominator .. " }"end }setmetatable(frac_a, operator) setmetatable(frac_b, operator)local frac_res = frac_a + frac_b setmetatable(frac_res, operator) -- 使tostring()方法生效 print(tostring(frac_res))關于更多Lua事件處理可參考文檔: Metamethods.
MetaTables 與 面向對象
Lua本來就不是設計為一種面向對象語言, 因此其面向對象功能需要通過元表(metatable)這種非常怪異的方式實現, Lua并不直接支持面向對象語言中常見的類、對象和方法: 其對象和類通過表實現, 而方法是通過函數來實現.
上面的Event一覽表內我們看到有__index這個事件重載,這個東西主要是重載了find key操作, 該操作可以讓Lua變得有點面向對象的感覺(類似JavaScript中的prototype). 通過Lua代碼模擬:
local function gettable_event(t, key)local hif type(t) == "table" thenlocal value = rawget(t, key)if value ~= nil thenreturn valueendh = getmetatable(t).__indexif h == nil thenreturn nilendelseh = getmetatable(t).__indexif h == nil thenerror("error")endendif type(h) == "function" then-- call the handlerreturn (h(t, key))else-- or repeat opration on itreturn h[key]end end-- 測試 obj = { 1, 2, 3 } op = {x = function()return "xx"end }setmetatable(obj, { __index = op['x'] }) print(gettable_event(obj, x))- 對于任何事件, Lua的處理都可以歸結為以下邏輯:
- 如果存在規定的操作則執行它;
- 否則從元表中取出各事件對應的__開頭的元素, 如果該元素為函數, 則調用;
- 如果該元素不為函數, 則用該元素代替table來執行事件所對應的處理邏輯.
這里的代碼僅作模擬, 實際的行為已經嵌入Lua解釋器, 執行效率要遠高于這些模擬代碼.
方法調用的實現
面向對象的基礎是創建對象和調用方法. Lua中, 表作為對象使用, 因此創建對象沒有問題, 關于調用方法, 如果表元素為函數的話, 則可直接調用:
-- 從obj取鍵為x的值, 將之視為function進行調用 obj.x(foo)不過這種實現方法調用的方式, 從面向對象角度來說還有2個問題:
- 首先: obj.x這種調用方式, 只是將表obj的屬性x這個函數對象取出而已, 而在大多數面向對象語言中, 方法的實體位于類中, 而非單獨的對象中. 在JavaScript等基于原型的語言中, 是以原型對象來代替類進行方法的搜索, 因此每個單獨的對象也并不擁有方法實體. 在Lua中, 為了實現基于原型的方法搜索, 需要使用元表的__index事件:
如果我們有兩個對象a和b,想讓b作為a的prototype需要setmetatable(a, {__index = b}), 如下例: 為obj設置__index加上proto模板來創建另一個實例:
proto變成了原型對象, 當obj中不存在的屬性被引用時, 就會去搜索proto.
- 其次: 通過方法搜索得到的函數對象只是單純的函數, 而無法獲得最初調用方法的表(接收器)相關信息. 于是, 過程和數據就發生了分離.JavaScript中, 關于接收器的信息可由關鍵字this獲得, 而在Python中通過方法調用形式獲得的并非單純的函數對象, 而是一個“方法對象” –其接收器會在內部作為第一參數附在函數的調用過程中.
而Lua準備了支持方法調用的語法糖:obj:x(). 表示obj.x(obj), 也就是: 通過冒號記法調用的函數, 其接收器會被作為第一參數添加進來(obj的求值只會進行一次, 即使有副作用也只生效一次).
更多MetaTable介紹可參考文檔Metatable與博客metatable和metamethod.
基于原型的編程
Lua雖然能夠進行面向對象編程, 但用元表來實現, 仿佛把對象剖開看到五臟六腑一樣.
<代碼的未來>中松本行弘老師向我們展示了一個基于原型編程的Lua庫, 通過該庫, 即使沒有深入解Lua原始機制, 也可以實現面向對象:
-- -- Author: Matz -- Date: 16/9/24 -- Time: 下午5:13 ---- Object為所有對象的上級 Object = {}-- 創建現有對象副本 function Object:clone()local object = {}-- 復制表元素for k, v in pairs(self) doobject[k] = vend-- 設定元表: 指定向自身`轉發`setmetatable(object, { __index = self })return object end-- 基于類的編程 function Object:new(...)local object = {}-- 設定元表: 指定向自身`轉發`setmetatable(object, { __index = self })-- 初始化object:init(...)return object end-- 初始化實例 function Object:init(...)-- 默認不進行任何操作 endClass = Object:new()另存為prototype.lua, 使用時只需require()引入即可:
require("prototype")-- Point類定義 Point = Class:new() function Point:init(x, y)self.x = xself.y = y endfunction Point:magnitude()return math.sqrt(self.x ^ 2 + self.y ^ 2) end-- 對象定義 point = Point:new(3, 4) print(point:magnitude())-- 繼承: Point3D定義 Point3D = Point:clone() function Point3D:init(x, y, z)self.x = xself.y = yself.z = z endfunction Point3D:magnitude()return math.sqrt(self.x ^ 2 + self.y ^ 2 + self.z ^ 2) endp3 = Point3D:new(1, 2, 3) print(p3:magnitude())-- 創建p3副本 ap3 = p3:clone() print(ap3.x, ap3.y, ap3.z)Redis - Lua
在傳入到Redis的Lua腳本中可使用redis.call()/redis.pcall()函數調用Reids命令:
redis.call("set", "foo", "bar") local value = redis.call("get", "foo")redis.call()返回值就是Reids命令的執行結果, Redis回復與Lua數據類型的對應關系如下:
| 整數 | 數值 |
| 字符串 | 字符串 |
| 多行字符串 | 表(數組) |
| 狀態回復 | 表(只有一個ok字段存儲狀態信息) |
| 錯誤回復 | 表(只有一個err字段存儲錯誤信息) |
注: Lua 的 false 會轉化為空結果.
redis-cli提供了EVAL與EVALSHA命令執行Lua腳本:
- EVAL
EVAL script numkeys key [key ...] arg [arg ...]
key和arg兩類參數用于向腳本傳遞數據, 他們的值可在腳本中使用KEYS和ARGV兩個table訪問: KEYS表示要操作的鍵名, ARGV表示非鍵名參數(并非強制). - EVALSHA
EVALSHA命令允許通過腳本的SHA1來執行(節省帶寬), Redis在執行EVAL/SCRIPT LOAD后會計算腳本SHA1緩存, EVALSHA根據SHA1取出緩存腳本執行.
創建Lua環境
為了在 Redis 服務器中執行 Lua 腳本, Redis 內嵌了一個 Lua 環境, 并對該環境進行了一系列修改, 從而確保滿足 Redis 的需要. 其創建步驟如下:
- 創建基礎 Lua 環境, 之后所有的修改都基于該環境進行;
- 載入函數庫到 Lua 環境, 使 Lua 腳本可以使用這些函數庫進行數據操作: 如基礎庫(刪除了loadfile()函數)、Table、String、Math、Debug等標準庫, 以及CJSON、 Struct(用于Lua值與C結構體轉換)、 cmsgpack等擴展庫(Redis 禁用Lua標準庫中與文件或系統調用相關函數, 只允許對 Redis 數據處理).
- 創建全局表redis, 其包含了對 Redis 操作的函數, 如redis.call()、 redis.pcall() 等;
- 替換隨機函數: 為了確保相同腳本可在不同機器上產生相同結果, Redis 要求所有傳入服務器的 Lua 腳本, 以及 Lua 環境中的所有函數, 都必須是無副作用的純函數, 因此Redis使用自制函數替換了 Math 庫中原有的 math.random()和 math.randomseed() .
- 創建輔助排序函數: 對于 Lua 腳本來說, 另一個可能產生數據不一致的地方是那些帶有不確定性質的命令(如: 由于set集合無序, 因此即使兩個集合內元素相同, 其輸出結果也并不一樣), 這類命令包括SINTER、SUNION、SDIFF、SMEMBERS、HKEYS、HVALS、KEYS 等.
Redis 會創建一個輔助排序函數__redis__compare_helper, 當執行完以上命令后, Redis會調用table.sort()以__redis__compare_helper作為輔助函數對命令返回值排序. - 創建錯誤處理函數: Redis創建一個 __redis__err__handler 錯誤處理函數, 當調用 redis.pcall() 執行 Redis 命令出錯時, 該函數將打印異常詳細信息.
- Lua全局環境保護: 確保傳入腳本內不會將額外的全局變量導入到 Lua 環境內.
小心: Redis 并未禁止用戶修改已存在的全局變量.
- 完成Redis的lua屬性與Lua環境的關聯:
整個 Redis 服務器只需創建一個 Lua 環境.
Lua環境協作組件
Redis創建兩個用于與Lua環境協作的組件: 偽客戶端- 負責執行 Lua 腳本中的 Redis 命令, lua_scripts字典- 保存 Lua 腳本:
- 偽客戶端
執行Reids命令必須有對應的客戶端狀態, 因此執行 Lua 腳本內的 Redis 命令必須為 Lua 環境專門創建一個偽客戶端, 由該客戶端處理 Lua 內所有命令: redis.call()/redis.pcall()執行一個Redis命令步驟如下:
- lua_scripts字典
字典key為腳本 SHA1 校驗和, value為 SHA1 對應腳本內容, 所有被EVAL和SCRIPT LOAD載入過的腳本都被記錄到 lua_scripts 中, 便于實現 SCRIPT EXISTS 命令和腳本復制功能.
- 偽客戶端
EVAL命令原理
EVAL命令執行分為以下三個步驟:
定義Lua函數:
在 Lua 環境內定義 Lua函數 : 名為f_前綴+腳本 SHA1 校驗和, 體為腳本內容本身. 優勢:
- 執行腳本步驟簡單, 調用函數即可;
- 函數的局部性可保持 Lua 環境清潔, 減少垃圾回收工作量, 且避免使用全局變量;
- 只要記住 SHA1 校驗和, 即可在不知腳本內容的情況下, 直接調用 Lua 函數執行腳本(EVALSHA命令實現).
將腳本保存到lua_scripts字典;
執行剛剛在定義的函數, 間接執行 Lua 腳本, 其準備和執行過程如下:
1). 將EVAL傳入的鍵名和參數分別保存到KEYS和ARGV, 然后將這兩個數組作為全局變量傳入到Lua環境;
2). 為Lua環境裝載超時處理hook(handler), 可在腳本出現運行超時時讓通過SCRIPT KILL停止腳本, 或SHUTDOWN關閉Redis;
3). 執行腳本函數;
4). 移除超時hook;
5). 將執行結果保存到客戶端輸出緩沖區, 等待將結果返回客戶端;
6). 對Lua環境執行垃圾回收.
對于會產生隨機結果但無法排序的命令(如只產生一個元素, 如 SPOP、SRANDMEMBER、RANDOMKEY、TIME), Redis在這類命令執行后將腳本狀態置為lua_random_dirty, 此后只允許腳本調用只讀命令, 不允許修改數據庫值.
實踐
使用Lua腳本重新構建帶有過期時間的分布式鎖.案例來源: <Redis實戰> 第6、11章, 構建步驟:
- 鎖申請
- 首先嘗試加鎖:
- 成功則為鎖設定過期時間; 返回;
- 失敗檢測鎖是否添加了過期時間;
- wait.
- 首先嘗試加鎖:
- 鎖釋放
- 檢查當前線程是否真的持有了該鎖:
- 持有: 則釋放; 返回成功;
- 失敗: 返回失敗.
- 檢查當前線程是否真的持有了該鎖:
非Lua實現
String acquireLockWithTimeOut(Jedis connection, String lockName, long acquireTimeOut, int lockTimeOut) {String identifier = UUID.randomUUID().toString();String key = "lock:" + lockName;long acquireTimeEnd = System.currentTimeMillis() + acquireTimeOut;while (System.currentTimeMillis() < acquireTimeEnd) {// 獲取鎖并設置過期時間if (connection.setnx(key, identifier) != 0) {connection.expire(key, lockTimeOut);return identifier;}// 檢查過期時間, 并在必要時對其更新else if (connection.ttl(key) == -1) {connection.expire(key, lockTimeOut);}try {Thread.sleep(10);} catch (InterruptedException ignored) {}}return null; }boolean releaseLock(Jedis connection, String lockName, String identifier) {String key = "lock:" + lockName;connection.watch(key);// 確保當前線程還持有鎖if (identifier.equals(connection.get(key))) {Transaction transaction = connection.multi();transaction.del(key);return transaction.exec().isEmpty();}connection.unwatch();return false; }Lua腳本實現
- Lua腳本: acquire
- Lua腳本: release
- Pre工具: 腳本執行器
- Client
參考 & 推薦
總結
以上是生活随笔為你收集整理的Lua语言模型 与 Redis应用的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： ASA IPSEC ×××配置
- 下一篇： 第十八章 8string类insert成