行人重识别的大体介绍
-
行人重識別簡介:
??首先拿到原始的視頻,從對視頻中的行人進行檢測,將行人圖片裁剪出來,得到一系列的行人圖片(圖中的gallery),對于任意一張想要檢索的圖片,比如圖中的Cam1,假設Cam1中的行人標號為A,在gallery中進行搜索,找到gallery中的所有的標號為A的人。
-
行人重識別的定義: 行人重識別也稱行人再識別,被廣泛認為是一個圖像檢索的子問題,
是利用計算機視覺技術判斷圖像或者視頻中是否存在特定行人的技術,即給定一個監控行人圖像檢索跨設備下的該行人圖像。行人重識別技術可以彌補當前固定攝像頭的視覺局限,并可與行人檢測、行人跟蹤技術相結合,應用于視頻監控、智能安防等領域。
-
行人重識別的特點: 1. 人臉識別失效的場景應用 2. 行人重識別主要依靠 衣著、佩飾、體態等特點進行識別
-
應用: 行人跟蹤 包括 1. 單攝像頭單目標 2. 單攝像頭多目標 3. 多攝像頭多目標
-
行人重識別系統: 從原始視頻幀經過行人檢測的系統,提取出大量的行人圖片,組成一個gallery,待檢索的圖片為probe,將gallery和probe的圖片都進行特征提取,之后對特征進行相似度的度量,按照相似度進行排序,相似度越高的排在前面。 行人重識別主要集中在特征提取和相似度度量兩個方面。
行人重識別系統包括:1. 特征提取:學習能夠應對不同攝像頭下行人變化的特征 2. 度量學習:將學習到的特征映射到新的空間,是相同的人更近,不同的人更遠 3. 圖像檢索:根據圖片特征之間的距離進行排序,返回檢索結果。
-
數據集: 數據集通常是通過人工標注或者檢測算法得到的行人圖片,目前與檢測獨立,注重識別。 數據集分為訓練集、驗證集、query、gallery:訓練集用于訓練,驗證集用于測試的,測試模型的好壞。query是由一堆probe組成,gallery是一組圖像庫。在訓練集上進行模型的訓練,得到模型后對Query和Gallery中的圖片提取特征計算相似度,對于每個query在Gallery中找出前N個與其相似的圖片。訓練和測試中的人物身份不重復
-
行人重識別的挑戰: 1. 低分辨率 2. 行人遮擋 3. 視角、姿勢變化 4. 光照變化 5. 視覺模糊性。上述的幾個挑戰會造成:1. 同一個人不同的圖片會有較大的差異特征 2. 類間的差異減少,比如說如果兩個人都在黑暗的環境下拍攝的照片,那么兩個人提取的圖片特征可能很相似。
-
行人重識別的評價指標: 1. rank-k:算法返回的排序列表中,前k位存在檢索目標則稱為rank-k命中,如圖1所示2. CMC曲線:計算rank-k的擊中率,形成rank-acc的曲線,如下圖2 3. mAP曲線,反映檢索的人在數據庫中所有正確的圖片排在排序列表前面的成都,能更加全面的衡量ReID算法的性能,rank-k只考慮了第一個被檢索成功的樣本,不能全面的說明模型的好壞,mAP如下圖3所示:
-
評價模式——single shot vs multi shot:Single shot是指gallery中每個人的圖像為一張(N=1),而 multi shot 是指gallery中每個人的圖像為N>1張,同樣的Rank-k下,一般N越大,得到的識別率越高。下圖中第一行就是一個single shot的例子,因為gallery中只有一張目標圖像,而第二行就是一個multi shot(具體來說就是 3-shot),因為gallery中有3張目標圖像。
-
評價模式——single query vs multi query: Single query 是指probe中每個人的圖像為一張(N=1),而multi query是指probe中每個人的圖像為N>1張圖像,然后融合N張圖片的特征(最大池化或者平均池化)作為最終特征。同樣的Rank-k下,一般N越大,得到的識別率越高。通常,評價ReID模型的性能采用single shot + single query模式。
-
常用的距離度量: 歐氏距離、馬氏距離、余弦距離
總結
以上是生活随笔為你收集整理的行人重识别的大体介绍的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 微服务的4个设计原则和19个解决方案
- 下一篇: 小孔成像总结_初中物理解题技巧+方法总结