活动 Web 页面人机识别验证的探索与实践
在電商行業,線上的營銷活動特別多。在移動互聯網時代,一般為了活動的快速上線和內容的即時更新,大部分的業務場景仍然通過 Web 頁面來承載。但由于 Web 頁面天生“環境透明”,相較于移動客戶端頁面在安全性上存在更大的挑戰。本文主要以移動端 Web 頁面為基礎來講述如何提升頁面安全性。
活動 Web 頁面的安全挑戰
對于營銷活動類的 Web 頁面,領券、領紅包、抽獎等活動方式很常見。此類活動對于普通用戶來說大多數時候就是“拼手氣”,而對于非正常用戶來說,可以通過直接刷活動 API 接口的“作弊”方式來提升“手氣”。這樣的話,對普通用戶來說,就變得很不公平。
對于活動運營的主辦方來說,如果風控措施做的不好,這類刷接口的“拼手氣”方式可能會對企業造成較大的損失。如本來計劃按 7 天發放的紅包,在上線 1 天就被刷光了,活動的營銷成本就會被意外提升。主辦方想發放給用戶的滿減券、紅包,卻大部分被黃牛使用自動腳本刷走,而真正想參與活動的用,卻無法享受活動優惠。
終端用戶到底是人還是機器,網絡請求是否為真實用戶發起,是否存在安全漏洞并且已被“羊毛黨”惡意利用等等,這些都是運營主辦方要擔心的問題。
安全防范的基本流程
為了提升活動 Web 頁面的安全性,通常會引入專業的風控服務。引入風控服務后,安全防護的流程大致如圖所示。
Web 前端:用戶通過 Web 頁面來參與活動,同時 Web 前端也會收集用于人機識別驗證的用戶交互行為數據。由于不同終端(移動端 H5 頁面和 PC 端頁面)交互形式不同,收集用戶交互行為數據的側重點也會有所不同。
風控服務:一般大公司都會有專業的風控團隊來提供風控服務,在美團內部有智能反爬系統來基于地理位置、IP地址等大數據來提供頻次限制、黑白名單限制等常規的基礎風控攔截服務。甚至還有依托于海量的全業務場景的用戶大數據,使用貝葉斯模型、神經網絡等來構建專業度較深的服務。風控服務可以為 Web 前端提供通用的獨立驗證 SDK:驗證碼、滑塊驗證等區分人機的“圖靈驗證”,也可以為服務端提供 Web API 接口的驗證等。
后端業務服務:負責處理活動業務邏輯,如給用戶發券、發紅包,處理用戶抽獎等。請求需要經過風控服務的驗證,確保其安全性,然后再來處理實際業務邏輯,通常,在處理完實際業務邏輯時,還會有針對業務本身的風控防范。
對于活動 Web 頁面來說,加入的風控服務主要為了做人機識別驗證。在人機識別驗證的專業領域上,我們可以先看看業界巨頭 Google 是怎么做的。
Google 如何處理人機驗證
Google 使用的人機驗證服務是著名的 reCAPTCHA(Completely Automated Public Turing Test To Tell Computers and Humans Apart,區分人機的全自動圖靈測試系統),也是應用最廣的驗證碼系統。早年的 reCAPTCHA 驗證碼是這樣的:
如今的 reCAPTCHA 已經不再需要人工輸入難以識別的字符,它會檢測用戶的終端環境,追蹤用戶的鼠標軌跡,只需用戶點擊“我不是機器人”就能進行人機驗證(reCAPTCHA騙用戶進行數據標注而進行AI訓練的驗證另說)。
reCAPTCHA 的驗證方式從早先的輸入字符到現在的輕點按鈕,在用戶體驗上,有了較大的提升。
而在活動場景中引入人機識別驗證,如果只是簡單粗暴地增加驗證碼,或者只是像 reCAPTCHA 那樣增加點擊“我不是機器人”的驗證,都會犧牲用戶體驗,降低用戶參加活動的積極性。
Google 的普通 Web 頁面的瀏覽和有強交互的活動 Web 頁面雖是不同的業務場景,但對于活動 Web 頁面來說,強交互恰好為人機識別驗證提供了用戶交互行為數據收集的契機。
人機識別驗證的技術挑戰
理想的方案是在用戶無感知的情況下做人機識別驗證,這樣既確保了安全又對用戶體驗無損傷。
從實際的業務場景出發再結合 Web 本身的環境,如果想實現理想的方案,可能會面臨如下的技術挑戰:
- (1)需要根據用戶的使用場景來定制人機識別驗證的算法:Web 前端負責收集、上報用戶交互行為數據,風控服務端校驗上報的數據是否符合正常的用戶行為邏輯。
- (2)確保 Web 前端和風控服務端之間通信和數據傳輸的安全性。
- (3)確保上述兩大挑戰中提到的邏輯和算法不會被代碼反編譯來破解。
在上述的三個挑戰中,(1)已經實現了人機識別驗證的功能,而(2)和(3)都是為了確保人機識別驗證不被破解而做的安全防范。接下來,本文會分別針對這三個技術挑戰來說明如何設計技術方案。
挑戰一:根據用戶使用場景來定制人機識別驗證算法
先來分析一下用戶的使用場景,正常用戶參與活動的步驟是用戶進入活動頁面后,會有短暫的停留,然后點擊按鈕參與活動。這里所說的“參與活動”,最終都會在活動頁面發起一個接口的請求。如果是非正常用戶,可以直接跳過以上的實際動作而去直接請求參與活動的接口。
那么區別于正常用戶和非正常用戶就是那些被跳過的動作,對實際動作進一步歸納如下:
以上的動作又可以分為必需的操作和可選的操作。對這一連串動作產生的日志數據進行收集,在請求參與活動的接口時,將這些數據提交至后端,驗證其合法性。這就是一個簡單的人機識別驗證。
在驗證動作的合法性時,需要考慮到這些動作數據是不是能被輕易模擬。另外,動作的發生應該有一條時間線,可以給每個動作都增加一個時間戳,比如點擊按鈕肯定是在進入頁面之后發生的。
一些特定的動作的日志數據也會有合理的區間,進入頁面的動作如果以 JS 資源加載的時間為基準,那么加載時間可能大于 100 毫秒,小于 5 秒。而對于移動端的按鈕點擊,點擊時記錄的坐標值也會有對應的合理區間,這些合理的區間會根據實際的環境和情況來進行設置。
除此之外,設備環境的數據也可以進行收集,包括用戶參與活動時使用的終端類型、瀏覽器的類型、瀏覽器是否為客戶端的容器等,如果使用了客戶端,客戶端是否會攜帶特殊的標識等。
最后,還可以收集一些“無效”的數據,這些數據用于障人耳目,驗證算法會將其忽略。盡管收集數據的動作是透明的,但是驗證數據合法性不是透明的,攻擊者無法知道,驗證的算法中怎么區分哪些是有效、哪些是無效。這已經有點“蜜罐數據”的意思了。
挑戰二:確保通信的安全性
收集的敏感數據要發送給風控服務端,進而確保通信過程的安全。
Token 的設計
Token 是一個簡短的字符串,主要為了確保通信的安全。用戶進入活動 Web 頁面后,請求參與活動的接口之前,會從服務端獲取 Token。該 Token 的生成算法要確保 Token 的唯一性,通過接口或 Cookie 傳遞給前端,然后,前端在真正請求參與活動的接口時需要帶上該 Token,風控服務端需要驗證 Token 的合法性。也就是說,Token 由服務端生成,傳給前端,前端再原封不動的回傳給服務端。一旦加入了 Token 的步驟,攻擊者就不能直接去請求參與活動的接口了。
Token 由風控服務端基于用戶的身份,根據一定的算法來生成,無法偽造,為了提升安全等級,Token 需要具有時效性,比如 10 分鐘。可以使用 Redis 這類緩存服務來存儲 Token,使用用戶身份標識和 Token 建立 KV 映射表,并設置過期時間為 10 分鐘。
雖然前端在 Cookie 中可以獲取到 Token,但是前端不能對 Token 做持久化的緩存。一旦在 Cookie 中獲取到了 Token,那么前端可以立即從 Cookie 中刪除該 Token,這樣能盡量確保 Token 的安全性和時效性。Token 存儲在 Redis 中,也不會因為用戶在參與活動時頻繁的切換頁面請求,而對服務造成太大的壓力。
另外,Token 還可以有更多的用處:
- 標識參與活動用戶的有效性。
- 敏感數據對稱加密時生成動態密鑰。
- API 接口的數字簽名。
敏感數據加密
通信時,傳遞的敏感數據可以使用常見的對稱加密算法進行加密。
為了提升加密的安全等級,加密時的密鑰可以動態生成,前端和風控服務端約定好動態密鑰的生成規則即可。加密的算法和密鑰也要確保不被暴露。
通過對敏感數據加密,攻擊者在不了解敏感數據內容的前提下就更別提模擬構造請求內容了。
挑戰三:化解紙老虎的尷尬
有經驗的 Web 開發者看到這里,可能已經開始質疑了:在透明的前端環境中折騰安全不是白折騰嗎?這就好比費了很大的勁卻只是造了一個“紙老虎”,質疑是有道理的,但是且慢,通過一些安全機制的加強是可以讓“紙老虎”盡可能的逼真。
本文一再提及的 Web 環境的透明性,是因為在實際的生產環境中的問題:前端的代碼在壓縮后,通過使用瀏覽器自帶的格式化工具和斷點工具,仍然具備一定的可讀性,花點時間仍然可以理解代碼的邏輯,這就給攻擊者提供了大好的代碼反編譯機會。
如果要化解“紙老虎”的尷尬,就要對前端的代碼進行混淆。
前端代碼混淆
前端的 JS 代碼壓縮工具基本都是對變量、函數名稱等進行縮短,壓縮對于混淆的作用是比較弱。除了對代碼進行壓縮,還需要進行專門的混淆。
對代碼進行混淆可以降低可讀性,混淆工具有條件的話最好自研,開源的工具要慎用。或者基于 Uglify.js 來自定義混淆的規則,混淆程度越高可讀性就越低。
代碼混淆也需要把握一個度,太復雜的混淆可能會讓代碼無法運行,也有可能會影響本身的執行效率。同時還需要兼顧混淆后的代碼體積,混淆前后的體積不能有太大的差距,合理的混淆程度很重要。
斷點工具的防范會更麻煩些。在使用斷點工具時通常都會導致代碼延遲執行,而正常的業務邏輯都會立即執行,這是一個可以利用的點,可以考慮在代碼執行間隔上來防范斷點工具。
通過代碼混淆和對代碼進行特殊的處理,可以讓格式化工具和斷點工具變得沒有用武之地。唯一有些小遺憾,就是處理后的代碼也不能正常使用 Source Map 的功能了。
有了代碼混淆,反編譯的成本會非常高,這樣“紙老虎”已經變得很逼真了。
技術方案設計
在講解完如何解決關鍵的技術挑戰后,就可以把相應的方案串起來,然后設計成一套可以實施的技術方案了。相對理想的技術方案架構圖如下:
下面會按步驟來講解技術方案的處理流程:
Step 0 基礎風控攔截
基礎風控攔截是上面提到的頻次、名單等的攔截限制,在 Nginx 層就能直接實施攔截。如果發現是惡意請求,直接將請求過濾返回 403,這是初步的攔截,用戶在請求 Web 頁面的時候就開始起作用了。
Step 1 風控服務端生成 Token 后傳給前端
Step 0 可能還沒進入到活動 Web 頁面,進入活動 Web 頁面后才真正開始人機識別驗證的流程,前端會先開始獲取 Token。
Step 2 前端生成敏感數據
敏感數據應包含用戶交互行為數據、設備環境數據、活動業務邏輯數據以及無效數據。
Step 3 使用 HTTPS 的簽名接口發送數據
Token 可以作為 Authorization 的值添加到 Header 中,數據接口的簽名可以有效防止 CSRF 的攻擊。
Step 4 數據接口的校驗
風控服務端收到請求后,會先驗證數據接口簽名中的 Token 是否有效。驗證完 Token,才會對敏感數據進行解密。數據解密成功,再進一步對人機識別的數據合法性進行校驗。
Step 5 業務邏輯的處理
前面的步驟為了做人機識別驗證,這些驗證不涉及到業務邏輯。在所有這些驗證都通過后,后端業務服務才會開始處理實際的活動業務邏輯。處理完活動業務邏輯,最終才會返回用戶參與活動的結果。
總結
為了提升活動 Web 頁面的安全性,使用了各種各樣的技術方案,我們將這些技術方案組合起來才能發揮安全防范的作用,如果其中某個環節處理不當,都可能會被當作漏洞來利用,從而導致整個驗證方案被攻破。
為了驗證技術方案的有效性,可以持續觀察活動 API 接口的請求成功率。從請求成功率的數據中進一步分析“誤傷”和“攔截”的數據,以進一步確定是否要對方案進行調優。
通過上述的人機識別驗證的組合方案,可以大幅提升活動 Web 頁面的安全性。在活動 Web 頁面應作為一個標準化的安全防范流程,除了美團,像淘寶和天貓也有類似的流程。由于活動運營的環節和方法多且復雜,僅僅提升了 Web 頁面也不敢保證就是鐵板一塊,安全需要關注的環節還很多,安全攻防是一項長期的“拉鋸升級戰”,安全防范措施也需要持續地優化升級。
參考資料
- https://www.google.com/recaptcha/intro/v3.html
- https://segmentfault.com/a/1190000006226236
- https://www.freebuf.com/articles/web/102269.html
作者簡介
益國,美團點評 Web 前端開發工程師。2015年加入美團,曾先后負責過風控前端SDK和活動運營平臺的研發,現負責大數據平臺的研發工作。
總結
以上是生活随笔為你收集整理的活动 Web 页面人机识别验证的探索与实践的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 最新天猫Java3轮面试题目:虚拟机+并
- 下一篇: Solr Facet技术的应用与研究