當(dāng)前位置：首頁 > 人工智能 > pytorch >内容正文

pytorch

身份验证错误错误指定的句柄无效_基于 Web 端的人脸识别身份验证「实践」

發(fā)布時間：2023/12/3 pytorch 42 豆豆

生活随笔收集整理的這篇文章主要介紹了身份验证错误错误指定的句柄无效_基于 Web 端的人脸识别身份验证「实践」小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

作者：沫沫政采云前端團(tuán)隊(duì)

轉(zhuǎn)發(fā)鏈接：https://mp.weixin.qq.com/s/fRDpXixnLIy9c0Uh2tMezQ

前言

近些年來，隨著生物識別技術(shù)的逐漸成熟，基于深度學(xué)習(xí)的人臉識別技術(shù)取得了突破性進(jìn)展，準(zhǔn)確率顯著提高。現(xiàn)階段，人臉識別身份驗(yàn)證作為非常重要的身份驗(yàn)證方式，已被廣泛的應(yīng)用于諸多行業(yè)和領(lǐng)域，例如：支付寶付款、刷臉簽到等方面。

其優(yōu)點(diǎn)在于，以人臉為識別對象，識別過程更加友好、便捷，只需被識別者進(jìn)入攝像范圍內(nèi)即可，不會引起被識別者的反感和警惕。目前，市面上的應(yīng)用場景主要集中在移動端，而基于 Web 瀏覽器端的人臉識別身份驗(yàn)證方案較少。

本文將介紹基于 Web 瀏覽器端的人臉識別身份驗(yàn)證的整體方案，以及重點(diǎn)講解如何在 Web 瀏覽器中實(shí)現(xiàn)人臉自動采集。

場景描述及分析

適用場景：人臉識別身份實(shí)名認(rèn)證。用戶使用人臉識別身份驗(yàn)證功能時，只需要將人臉對準(zhǔn)攝像頭，程序自動對人臉進(jìn)行檢測。如果檢測到當(dāng)前攝像頭可視區(qū)域內(nèi)僅存在唯一一個人臉，則采集當(dāng)前人臉圖片進(jìn)行人臉對比、活體檢測、身份證識別等多項(xiàng)組合能力，快速完成用戶身份核驗(yàn)。
從上述場景描述中，分析出幾個關(guān)鍵問題及解決方案：
- 考慮到 Web 端性能，活體檢測交由服務(wù)端處理比較合適。具體可參考百度 AI 活體檢測 (https://ai.baidu.com/tech/face/faceliveness)
- 個人身份證上的高清照片是無法直接獲取到的。可以使用 百度 AI 的實(shí)名身份認(rèn)證服務(wù) (https://ai.baidu.com/tech/face/personverify)，將待比對的人臉圖片 + 身份證號碼 + 姓名上傳到百度 AI 服務(wù)，會返回圖片的匹配度(0~100)。其底層調(diào)用的也是公安的實(shí)名認(rèn)證接口
- 使用開源的人臉采集 JS 庫。需要支持單個和多個人臉檢測
- 經(jīng)橫向?qū)Ρ饶壳俺Ｓ玫拈_源人臉采集 JS 庫，Face-api.js 在性能和準(zhǔn)確度上更勝一籌
- face-api.js ：基于 TensorFlow.js 內(nèi)核，實(shí)現(xiàn)了三種卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，用于完成人臉檢測、識別和特征點(diǎn)檢測任務(wù)，可以在瀏覽器中進(jìn)行人臉識別。其內(nèi)部實(shí)現(xiàn)了一個非常輕巧，快速，準(zhǔn)確的 68 點(diǎn)面部標(biāo)志探測器。支持多種 tf 模型，微小模型僅為 80kb。另外，它還支持 GPU 加速，相關(guān)操作可以使用 WebGL 運(yùn)行
- tracking.js : 一個獨(dú)立的 JavaScript 庫，主要實(shí)現(xiàn)了顏色和人(人臉、五官等)的跟蹤檢測。可以通過檢測到某特定顏色，或者檢測一個人體/臉的出現(xiàn)與移動，來觸發(fā) JavaScript 事件，然后對人臉進(jìn)行采集。Tracking.js 是使用 CPU 進(jìn)行計(jì)算的，在圖像的矩陣運(yùn)算效率上，相對 GPU 要慢一些
- 通過 navigator.mediaDevices.getUserMedia API(基于 WebRTC)可以獲取到攝像頭拍攝的實(shí)時視頻流數(shù)據(jù)
- 問題一：如何獲取到攝像頭拍攝的實(shí)時視頻流數(shù)據(jù)？
- 問題二：如何檢測到實(shí)時視頻流中存在唯一人臉，并進(jìn)行采集？
- 問題三：實(shí)名身份驗(yàn)證怎么實(shí)現(xiàn)？如何獲取到身份證上的高清照片進(jìn)行比對？
- 問題四：活體檢測怎么實(shí)現(xiàn)？

整體方案

主要分為以下幾個關(guān)鍵步驟：
- 調(diào)用攝像頭(需獲得用戶授權(quán)允許)，獲取攝像頭的視頻流數(shù)據(jù)
- 使用 face-api.js 識別視頻流中的人臉特征點(diǎn)，定位出人臉的位置
- 符合人臉特征時，暫停視頻流，根據(jù)視頻流當(dāng)前幀，繪制圖像
- 將圖像轉(zhuǎn)成 Base64 編碼，上傳到服務(wù)端
- 服務(wù)端調(diào)用百度 AI 的接口，與身份證上的圖片信息進(jìn)行比對，并進(jìn)行活體檢測

實(shí)現(xiàn)細(xì)節(jié)

在上述方案中，想必大家對攝像頭檢測、實(shí)時視頻流數(shù)據(jù)獲取、Canvas 圖片繪制這些都比較熟悉，我這邊就不詳細(xì)講解了。部分同學(xué)沒接觸過也沒關(guān)系，具體實(shí)現(xiàn)比較簡單，可以直接看源碼 (https://github.com/Angela-Chen/face-api-demo)，源碼里面關(guān)于這些都有詳細(xì)的注解。

下面我詳細(xì)講下，如何使用 face-api.js 在實(shí)時視頻流中進(jìn)行人臉的檢測

1、引入 face-api

script 標(biāo)簽方式，獲取 最新腳本 (https://github.com/justadudewhohacks/face-api.js/tree/master/dist)

或者使用 npm 方式npm?install?face-api.js

2、加載模型數(shù)據(jù)

“

加載模型數(shù)據(jù)是異步操作。需要等模型數(shù)據(jù)加載完成后，才能開始人臉檢測。

//?加載所有模型數(shù)據(jù)，models?是存放模型數(shù)據(jù)文件的目錄await?faceapi.loadModels('/models');?//?加載單個指定的模型數(shù)據(jù)await?faceapi.loadTinyFaceDetectorModel('/models');await?faceapi.loadSsdMobilenetv1Model('/models');await?faceapi.loadMtcnnModel('/models');

3、檢測人臉

“

當(dāng)人臉被檢測到符合模型的配置參數(shù)后，就會被認(rèn)為檢測到人臉了，然后返回一個detection對象，包括了人臉匹配度、人臉坐標(biāo)等信息。可用于后續(xù)自定義繪制人臉邊界框，以及閾值的邏輯判斷。

- faceapi.detectAllFaces ：檢測圖像中的所有人臉
- faceapi.detectSingleFace ：檢測單個人臉，返回圖像中具有最高置信度得分的人臉

//?數(shù)據(jù)源支持：HTMLImageElement | HTMLVideoElement | HTMLCanvasElement 類型//?不同的模型有不同的配置參數(shù)，下面會詳細(xì)介紹const?detections1?=?await?faceapi.detectAllFaces(待檢測的數(shù)據(jù)源,?模型的配置參數(shù));const?detections2?=?await?faceapi.detectSingleFace(待檢測的數(shù)據(jù)源,?模型的配置參數(shù));

4、常用人臉檢測模型介紹

(1) Tiny Face Detector 是一款性能非常高的實(shí)時人臉檢測模型，與 SSD Mobilenet V1 人臉檢測模型相比，它更快，更小，資源消耗更少，量化模型的大小僅為 190 KB(tiny_face_detector_model)，但它在檢測小臉時的表現(xiàn)稍差。加載時長 8 ms左右

//?模型的配置參數(shù)new?faceapi.TinyFaceDetectorOptions({??//?輸入的數(shù)據(jù)源大小，這個值越小，處理速度越快。常用值：128, 160, 224, 320, 416, 512, 608??inputSize:?number,??//?default:?416??//?用于過濾邊界的分?jǐn)?shù)閾值，大于等于這個值才被認(rèn)為檢測到了人臉，然后返回一個detection對象??scoreThreshold:?number??//?default:?0.5});

(2) SSD Mobilenet V1 對于面部檢測，該模型實(shí)現(xiàn)了基于 MobileNetV1 的 SSD(單次多核檢測器)。神經(jīng)網(wǎng)絡(luò)將計(jì)算圖像中每個面部的位置，并將返回邊界框以及每個面部的概率。該面部檢測器旨在獲得檢測面部邊界框而不是低推理時間的高精度。量化模型的大小約為 5.4 MB(ssd_mobilenetv1_model)。加載時長 2-3s 左右

//?模型的配置參數(shù)new?faceapi.SsdMobilenetv1Options({??//?最小置信值，大于等于這個值才被認(rèn)為檢測到了人臉，然后返回一個detection對象??minConfidence:?number,??//?default:?0.5??//?最多返回人臉的個數(shù)??maxResults:?number??//?default:?100});

(3) MTCNN MTCNN(多任務(wù)級聯(lián)卷積神經(jīng)網(wǎng)絡(luò))代表了 SSD Mobilenet v1 和 Tiny Yolo v2 的替代面部檢測模型，它提供了更多的配置空間。通過調(diào)整輸入?yún)?shù)，MTCNN 應(yīng)該能夠檢測各種面部邊界框大小。MTCNN 是一個 3 級級聯(lián) CNN，它同時返回 5 個面部標(biāo)志點(diǎn)以及每個面的邊界框和分?jǐn)?shù)。此外，型號尺寸僅為 2 MB。加載時長 1-2s 左右

//?模型的配置參數(shù)new?faceapi.MtcnnOptions({??//?人臉尺寸的最小值，小于這個尺寸的人臉不會被檢測到??minFaceSize:?number,??//?default:?20??//?用于過濾邊界的分?jǐn)?shù)閾值，分別可以設(shè)置3個階段盒子的閾值。??scoreThresholds:?number[],??//?default:?[0.6,?0.7,?0.7]??//?比例因子用于計(jì)算圖像的比例步長??scaleFactor:?number,??//?default:?0.709??//?經(jīng)過CNN的輸入圖像縮放版本的最大數(shù)量。數(shù)字越小，檢測時間越短，但相對準(zhǔn)確度會差一些。??maxNumScales:?number,??//?default:?10??//?手動設(shè)置縮放步長?scaleSteps??scaleSteps?:?number[],});

特別說明:
- 模型的配置參數(shù)設(shè)置非常重要，需要慢慢的微調(diào)，能優(yōu)化識別性能和比對的正確性
- 實(shí)測下來，Tiny Face Detector 模型的性能非常好，檢測的準(zhǔn)確度也不錯，只有人臉很小的時候，會有較大偏差，scoreThreshold 閾值為 0.6 時最佳

注意事項(xiàng)

由于 Web 端的人臉識別將依賴于本地?cái)z像頭的喚起，因此，對于本地?cái)z像頭的調(diào)用需要進(jìn)行詳細(xì)的錯誤捕獲和處理，以便明確的提示用戶該如何操作。下面已枚舉出所有可能出現(xiàn)的報(bào)錯：

const?errorMap?=?{?'NotAllowedError':?'攝像頭已被禁用，請?jiān)谙到y(tǒng)設(shè)置或者瀏覽器設(shè)置中開啟后重試',?'AbortError':?'硬件問題，導(dǎo)致無法訪問攝像頭',?'NotFoundError':?'未檢測到可用攝像頭',?'NotReadableError':?'操作系統(tǒng)上某個硬件、瀏覽器或者網(wǎng)頁層面發(fā)生錯誤，導(dǎo)致無法訪問攝像頭',?'OverConstrainedError':?'未檢測到可用攝像頭',?'SecurityError':?'攝像頭已被禁用，請?jiān)谙到y(tǒng)設(shè)置或者瀏覽器設(shè)置中開啟后重試',?'TypeError':?'類型錯誤，未檢測到可用攝像頭'};await?navigator.mediaDevices.getUserMedia({video:?true})??.catch((error)?=>?{????if?(errorMap[error.name])?{??????alert(errorMap[error.name]);????}});

http 協(xié)議下，Chrome 瀏覽器無法調(diào)用本地?cái)z像頭
- Chrome 瀏覽器出于安全性的考慮，現(xiàn)只支持 HTTPS 協(xié)議和 localhost 下，調(diào)用攝像頭。HTTP 協(xié)議下是無法調(diào)用攝像頭的。如果一定要在 HTTP下調(diào)用到攝像頭，只能修改 Chrome 瀏覽器的配置項(xiàng)，但不建議這么做

源碼獲取

查看源碼 (https://github.com/Angela-Chen/face-api-demo)

生活随笔