给你总结了这些对付幂等性的套路
一、背景
我們實際系統中有很多操作,是不管做多少次,都應該產生一樣的效果或返回一樣的結果。例如 1. 前端重復提交選中的數據,應該后臺只產生對應這個數據的一個反應結果;2. 我們發起一筆付款請求,應該只扣用戶賬戶一次錢,當遇到網絡重發或系統 bug 重發,也應該只扣一次錢;3. 發送消息,也應該只發一次,同樣的短信發給用戶,用戶會哭的;4. 創建業務訂單,一次業務請求只能創建一個,創建多個就會出大問題等等很多重要的情況都需要冪等的特性來支持。
二、冪等性概念
冪等(idempotent、idempotence)是一個數學與計算機學概念,常見于抽象代數中。在編程中,一個冪等操作的特點是其任意多次執行所產生的影響均與一次執行的影響相同。冪等函數,或冪等方法,是指可以使用相同參數重復執行,并能獲得相同結果的函數。這些函數不會影響系統狀態,也不用擔心重復執行會對系統造成改變。例如,“getUsername()和 setTrue()”函數就是一個冪等函數. ?更復雜的操作冪等保證是利用唯一交易號(流水號)實現. ?我的理解:冪等就是一個操作,不論執行多少次,產生的效果和返回的結果都是一樣的
三、技術方案
1.查詢操作
查詢一次和查詢多次,在數據不變的情況下,查詢結果是一樣的。select 是天然的冪等操作;
2.刪除操作
刪除操作也是冪等的,刪除一次和多次刪除都是把數據刪除。(注意可能返回結果不一樣,刪除的數據不存在,返回 0,刪除的數據多條,返回結果多個
3.唯一索引
防止新增臟數據。比如:支付寶的資金賬戶,支付寶也有用戶賬戶,每個用戶只能有一個資金賬戶,怎么防止給用戶創建資金賬戶多個,那么給資金賬戶表中的用戶 ID 加唯一索引,所以一個用戶新增成功一個資金賬戶記錄。要點:唯一索引或唯一組合索引來防止新增數據存在臟數據(當表存在唯一索引,并發時新增報錯時,再查詢一次就可以了,數據應該已經存在了,返回結果即可
4.token 機制
防止頁面重復提交。業務要求:頁面的數據只能被點擊提交一次;發生原因:由于重復點擊或者網絡重發,或者 nginx 重發等情況會導致數據被重復提交;解決辦法:集群環境采用 token 加 redis(redis 單線程的,處理需要排隊);單 JVM 環境:采用 token 加 redis 或 token 加 jvm 內存。處理流程:1. 數據提交前要向服務的申請 token,token 放到 redis 或 jvm 內存,token 有效時間;2. 提交后后臺校驗 token,同時刪除 token,生成新的 token 返回。token 特點:要申請,一次有效性,可以限流。注意:redis 要用刪除操作來判斷 token,刪除成功代表 token 校驗通過,如果用 select+delete 來校驗 token,存在并發問題,不建議使用
5.悲觀鎖
獲取數據的時候加鎖獲取。
select?*?from?table_xxx?where?id='xxx'?for?update;注意:id 字段一定是主鍵或者唯一索引,不然是鎖表,會死人的悲觀鎖使用時一般伴隨事務一起使用,數據鎖定時間可能會很長,根據實際情況選用
6.樂觀鎖
樂觀鎖只是在更新數據那一刻鎖表,其他時間不鎖表,所以相對于悲觀鎖,效率更高。樂觀鎖的實現方式多種多樣可以通過 version 或者其他狀態條件:
通過版本號實現
如下圖(來自網上);
通過條件限制
要求:quality-#subQuality# >=?,這個情景適合不用版本號,只更新是做數據安全校驗,適合庫存模型,扣份額和回滾份額,性能更高
7.分布式鎖
還是拿插入數據的例子,如果是分布是系統,構建全局唯一索引比較困難,例如唯一性的字段沒法確定,這時候可以引入分布式鎖,通過第三方的系統(redis 或 zookeeper),在業務系統插入數據或者更新數據,獲取分布式鎖,然后做操作,之后釋放鎖,這樣其實是把多線程并發的鎖的思路,引入多多個系統,也就是分布式系統中得解決思路。要點:某個長流程處理過程要求不能并發執行,可以在流程執行之前根據某個標志(用戶 ID+后綴等)獲取分布式鎖,其他流程執行時獲取鎖就會失敗,也就是同一時間該流程只能有一個能執行成功,執行完成后,釋放分布式鎖(分布式鎖要第三方系統提供)
8.select + insert
并發不高的后臺系統,或者一些任務 JOB,為了支持冪等,支持重復執行,簡單的處理方法是,先查詢下一些關鍵數據,判斷是否已經執行過,在進行業務處理,就可以了。注意:核心高并發流程不要用這種方法
9.狀態機冪等
在設計單據相關的業務,或者是任務相關的業務,肯定會涉及到狀態機(狀態變更圖),就是業務單據上面有個狀態,狀態在不同的情況下會發生變更,一般情況下存在有限狀態機,這時候,如果狀態機已經處于下一個狀態,這時候來了一個上一個狀態的變更,理論上是不能夠變更的,這樣的話,保證了有限狀態機的冪等。注意:訂單等單據類業務,存在很長的狀態流轉,一定要深刻理解狀態機,對業務系統設計能力提高有很大幫助
10.對外提供接口的 api 如何保證冪等
如銀聯提供的付款接口:需要接入商戶提交付款請求時附帶:source 來源,seq 序列號。
source+seq 在數據庫里面做唯一索引,防止多次付款(并發時,只能處理一個請求) 。重點:對外提供接口為了支持冪等調用,接口有兩個字段必須傳,一個是來源 source,一個是來源方序列號 seq,這個兩個字段在提供方系統里面做聯合唯一索引,這樣當第三方調用時,先在本方系統里面查詢一下,是否已經處理過,返回相應處理結果;沒有處理過,進行相應處理,返回結果。注意,為了冪等友好,一定要先查詢一下,是否處理過該筆業務,不查詢直接插入業務系統,會報錯,但實際已經處理了
《新程序員》:云原生和全面數字化實踐50位技術專家共同創作,文字、視頻、音頻交互閱讀總結
以上是生活随笔為你收集整理的给你总结了这些对付幂等性的套路的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 那些年,我们踩过的 Java 坑
- 下一篇: Spring 的 BeanFactory