作者：?Ann Yuan?、?Andrey Vakunov?來源：TensorFlow Bolg編譯：威踢踢虹膜跟蹤可廣泛應用，例如用于輔助技術的免提界面以及了解用戶的點擊和手勢以外的行為。虹膜跟蹤也是一個具有挑戰性的計算機視覺問題。在變化的光照條件下，眼睛經常被頭發遮住，并且根據頭部的旋轉角度和人的表情被感知為不同的形狀。現有的解決方案嚴重依賴于專用硬件，通常需要昂貴的耳機或遠程眼動儀系統。這些方法不適用于計算資源有限的移動設備。啟用眼睛重新著色的示例。3月，我們宣布發布了一個新程序包，用于檢測瀏覽器中的面部標志。今天，我們很高興通過TensorFlow.js人臉標志檢測模型將虹膜跟蹤添加到此程序包中。MediaPipe Iris模型使這項工作成為可能。我們已經棄用了原始的facemesh模型，并將在將來對人臉標志檢測模型進行更新。

請注意，虹膜跟蹤不會推斷人們正在看的位置，也不能提供任何形式的身份識別。在模型的文檔 ?和隨附的模型卡中，我們詳細描述了模型的預期用途，局限性和公平性(與Google的AI原則保持一致)。?

MediaPipe虹膜模型能夠使用單個RGB攝像機實時跟蹤虹膜和瞳孔的界標，而無需專用硬件。該模型還返回眼瞼和眉毛區域的界標，從而能夠檢測到輕微的眼球運動，例如眨眼。

引入@ tensorflow / face-landmarks-detection

左上方是@ tensorflow-models / facemesh @ 0.0.4的預測，右上方是@ tensorflow-models / face-landmarks-detection @ 0.0.1的預測。虹膜界標為紅色。

熟悉我們現有的?facemesh?模型的用戶可以升級到新的?faceLandmarksDetection?模型，并只需進行少量代碼更改，下面將對此進行詳細說明。faceLandmarksDetection對facemesh進行了三項重大改進：

虹膜關鍵點檢測

改善眼瞼輪廓檢測

改進了對旋轉臉部的檢測

這些改進在上面的動圖中得到了突出顯示，該動圖演示了faceLandmarksDetection和facemesh返回的界標在同一圖像序列是如何不同的。

安裝

有兩種安裝faceLandmarksDetection軟件包的方法：

通過腳本標簽：

<script src="https://cdn.jsdelivr.net/npm/@tensorflow/tfjs@2.6.0/dist/tf.js">script><script src="https://cdn.jsdelivr.net/npm/@tensorflow-models/face-landmarks-detection">script>通過NPM(通過yarn，網址:https://yarnpkg.com/)：$ yarn add @tensorflow-models/face-landmarks-detection@0.0.1$ yarn add @tensorflow/tfjs@2.6.0

用法

安裝軟件包后，只需加載模型權重，然后傳遞圖像即可開始檢測面部標志：// If you are using NPM, first require the model. If you are using script tags, you can skip this step because `faceLandmarksDetection` will already be available in the global scope.const faceLandmarksDetection = require('@tensorflow-models/face-landmarks-detection');// Load the faceLandmarksDetection model assets.const model = await faceLandmarksDetection.load( faceLandmarksDetection.SupportedPackages.mediapipeFacemesh);// Pass in a video stream to the model to obtain an array of detected faces from the MediaPipe graph.// For Node users, the `estimateFaces` API also accepts a `tf.Tensor3D`, or an ImageData object.const video = document.querySelector("video");const faces = await model.estimateFaces({ input: video });輸入的內容estimateFaces可以是視頻，靜態圖像，`tf.Tensor3D`，甚至是供Node.js管道中使用的ImageData對象。然后，FaceLandmarksDetection返回輸入中面部的預測對象數組，其中包括有關每個面部的信息(例如，置信度得分以及該面部中478個界標的位置)。

這是一個樣本預測對象：

{ faceInViewConfidence: 1, boundingBox: { topLeft: [232.28, 145.26], // [x, y] bottomRight: [449.75, 308.36], }, mesh: [ [92.07, 119.49, -17.54], // [x, y, z] [91.97, 102.52, -30.54], ... ], // x,y,z positions of each facial landmark within the input space. scaledMesh: [ [322.32, 297.58, -17.54], [322.18, 263.95, -30.54] ], // Semantic groupings of x,y,z positions. annotations: { silhouette: [ [326.19, 124.72, -3.82], [351.06, 126.30, -3.00], ... ], ... }}有關API的更多詳細信息， 請參閱我們的自述文件。

性能

FaceLandmarksDetection是一種輕量級的程序包，只有大約3MB，因此非常適合在各種移動設備上進行實時推理。在測試時，請注意TensorFlow.js還提供了幾種不同的后端供選擇，包括帶有?XNNPACK的?WebGL和WebAssembly(WASM)，用于具有低端GPU的設備。下表顯示了程序包如何在幾種不同的設備和TensorFlow.js后端上執行。桌面：?移動：?所有標準都是在Chrome瀏覽器中收集的。

展望未來

TensorFlow.js和MediaPipe團隊都計劃使用改進的虹膜界標將深度估計功能添加到我們的人臉界標檢測解決方案中。我們堅信共享可實現可重復研究和快速實驗的代碼，并期待看到更廣泛的社區如何利用MediaPipe虹膜模型。作者提供了新軟件包，可以在Web瀏覽器中通過此鏈接使用：

https://storage.googleapis.com/tfjs-models/demos/face-landmarks-detection/index.html

---

詳細解讀，8000字線性代數知識點長文，帶你入門深度學習/機器學習

2020-11-03

資料 | Python – 100天從新手到大師開放中，內附下載方式

2020-11-03

資源 | 《30天吃掉Tensorflow》開放下載

2020-10-23

AI研習社是AI學術青年和開發者社區，為大家提供一個頂會資訊、論文解讀、數據競賽、求職內推等的技術交流陣地，歡迎登陸www.yanxishe.com加入我們吧～

投稿、轉載、媒介合作聯系微信號 | bajiaojiao-sz

商務合作聯系微信號 | LJ18825253481

總結

以上是生活随笔為你收集整理的谷歌浏览器32位安装包_谷歌团队新作！只需下载3M安装包，就能让你的手机浏览器跟踪眼球运动...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。