文章目錄

• 0 前言
• 1 技術(shù)背景
• 2 技術(shù)介紹
• 3 重識別技術(shù)實現(xiàn)
• • 3.1 數(shù)據(jù)集
  • 3.2 行人檢測
  • 3.2 Person REID
  • • 3.2.1 算法原理
    • 3.2.2 算法流程圖
• 4 實現(xiàn)效果
• 5 部分代碼
• 6 最后

---

0 前言

今天學(xué)長向大家介紹一個深度學(xué)習(xí)相關(guān)的畢業(yè)設(shè)計，基于深度學(xué)習(xí)的行人重識別，該題目具有一定難度，對深度學(xué)習(xí)感興趣的同學(xué)可以挑戰(zhàn)一下。

---

1 技術(shù)背景

行人重識別技術(shù)，是智能視頻監(jiān)控系統(tǒng)的關(guān)鍵技術(shù)之一，其研宄是針對特定目標(biāo)行人的視頻檢索識別問題。行人再識別是一種自動的目標(biāo)判定識別技術(shù)，它綜合地運用了計算機視覺技術(shù)、機器學(xué)習(xí)、視頻處理、圖像分析、模式識別等多種相關(guān)技術(shù)于監(jiān)控系統(tǒng)中，其主要描述的是在多個無重疊視域的攝像頭監(jiān)控環(huán)境之下，通過相關(guān)算法判斷在某個鏡頭下出現(xiàn)過的感興趣的目標(biāo)人物是否在其他攝像頭下再次出現(xiàn)。

2 技術(shù)介紹

在視頻監(jiān)控系統(tǒng)中，行人再識別任務(wù)的整體框架如下圖所示：
—個監(jiān)控系統(tǒng)由多個視域不相交的監(jiān)控攝像頭組成，攝像機的位置可以隨時更改，同時也可以隨時增加或減少攝像機。不兩監(jiān)控攝像頭所攝取的畫面、視角等各不相同。在這樣的監(jiān)控系統(tǒng)中，對行人的動向監(jiān)測是，至關(guān)重要的。

對行人的監(jiān)控主要基于以下三個基本的模塊：

• 行人檢測：
  行人檢測的目標(biāo)是在圖片中定位到行人的具體位置。這一步驟僅涉及到對于靜止的單張圖片的處理，而沒有動態(tài)的處理，沒有時間序列上的相關(guān)分析。

• 行人軌跡跟蹤：
  行人軌跡跟蹤的主要任務(wù)是在一段時間內(nèi)提供目標(biāo)任務(wù)的位置移動信息。與行人檢測不同，軌跡跟蹤與時間序列緊密相關(guān)。行人軌跡跟蹤是在行人檢測的基礎(chǔ)上進(jìn)行的。

• 行人再識別：
  行人再識別任務(wù)的目標(biāo)是在沒有相重合視域的攝像頭或攝像機網(wǎng)絡(luò)內(nèi)的不同背景下的許多行人中中識別某個特定行人。行人再識別的分析基于行人檢測和軌跡跟蹤的結(jié)果。其主要步驟首先是檢測和跟蹤視頻序列中的行人，從而提取行人的特征，建立構(gòu)建模型所需的行人特征集數(shù)據(jù)庫。

---

在此基礎(chǔ)上，用訓(xùn)練出的模型進(jìn)行學(xué)習(xí)從而判斷得出某個攝像頭下的行人與另一攝像頭下的目標(biāo)人物為同一個人。在智能視頻監(jiān)控系統(tǒng)中的行人再識別任務(wù)具有非常廣闊的應(yīng)用前景。行人再識別的應(yīng)用與行人檢測、目標(biāo)跟蹤、行人行為分析、敏感事件檢測等等都有著緊密的聯(lián)系，這些分析處理技術(shù)對于公安部門的刑偵工作和城市安防建設(shè)工作有著重要的意義。

3 重識別技術(shù)實現(xiàn)

3.1 數(shù)據(jù)集

目前行人再識別的研究需要大量的行人數(shù)據(jù)集。行人再識別的數(shù)據(jù)集主要是通過在不同區(qū)域假設(shè)無重疊視域的多個攝像頭來采集拍攝有行人圖像的視頻，然后對視頻提取幀，對于視頻幀圖像采用人工標(biāo)注或算法識別的方式進(jìn)行人體檢測及標(biāo)注來完成的。行人再識別數(shù)據(jù)集中包含了跨背景、跨時間、不同拍攝角度下、各種不同姿勢的行人圖片，如下圖所示。

3.2 行人檢測

行人檢測學(xué)長已經(jīng)做過詳細(xì)的講解了，參考我的文章：
畢業(yè)設(shè)計之 — 目標(biāo)檢測-行人車輛檢測流量計數(shù)

3.2 Person REID

3.2.1 算法原理

給定Ｎ個不同的行人從不同的拍攝視角的無重疊視域攝像機捕獲的圖像集合，行人再識別的任務(wù)是學(xué)習(xí)一個模型，該模型可以盡可能減小行人姿勢和背景、光照等因素帶來的影響，從而更好地對行人進(jìn)行整體上的描述，更準(zhǔn)確地對不同行人圖像之間的相似度進(jìn)行衡量。

我這里使用注意力相關(guān)的特征的卷積神經(jīng)網(wǎng)絡(luò)。該基礎(chǔ)卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)可以由任何卷積神經(jīng)網(wǎng)絡(luò)模型代替，例如，ＶＧＧ－１９，ＲｅｓＮｅｔ－１０１。

該算法的核心模塊在于注意力學(xué)習(xí)模型。

3.2.2 算法流程圖

4 實現(xiàn)效果

在多行人場景下，對特定行人進(jìn)行尋找

5 部分代碼

import argparse import time from sys import platformfrom models import * from utils.datasets import * from utils.utils import *from reid.data import make_data_loader from reid.data.transforms import build_transforms from reid.modeling import build_model from reid.config import cfg as reidCfgdef detect(cfg,data,weights,images='data/samples', # input folderoutput='output', # output folderfourcc='mp4v', # video codecimg_size=416,conf_thres=0.5,nms_thres=0.5,dist_thres=1.0,save_txt=False,save_images=True):# Initializedevice = torch_utils.select_device(force_cpu=False)torch.backends.cudnn.benchmark = False # set False for reproducible resultsif os.path.exists(output):shutil.rmtree(output) # delete output folderos.makedirs(output) # make new output folder############# 行人重識別模型初始化 #############query_loader, num_query = make_data_loader(reidCfg)reidModel = build_model(reidCfg, num_classes=10126)reidModel.load_param(reidCfg.TEST.WEIGHT)reidModel.to(device).eval()query_feats = []query_pids = []for i, batch in enumerate(query_loader):with torch.no_grad():img, pid, camid = batchimg = img.to(device)feat = reidModel(img) # 一共2張待查詢圖片，每張圖片特征向量2048 torch.Size([2, 2048])query_feats.append(feat)query_pids.extend(np.asarray(pid)) # extend() 函數(shù)用于在列表末尾一次性追加另一個序列中的多個值（用新列表擴展原來的列表）。query_feats = torch.cat(query_feats, dim=0) # torch.Size([2, 2048])print("The query feature is normalized")query_feats = torch.nn.functional.normalize(query_feats, dim=1, p=2) # 計算出查詢圖片的特征向量############# 行人檢測模型初始化 #############model = Darknet(cfg, img_size)# Load weightsif weights.endswith('.pt'): # pytorch formatmodel.load_state_dict(torch.load(weights, map_location=device)['model'])else: # darknet format_ = load_darknet_weights(model, weights)# Eval modemodel.to(device).eval()# Half precisionopt.half = opt.half and device.type != 'cpu' # half precision only supported on CUDAif opt.half:model.half()# Set Dataloadervid_path, vid_writer = None, Noneif opt.webcam:save_images = Falsedataloader = LoadWebcam(img_size=img_size, half=opt.half)else:dataloader = LoadImages(images, img_size=img_size, half=opt.half)# Get classes and colors# parse_data_cfg(data)['names']:得到類別名稱文件路徑 names=data/coco.namesclasses = load_classes(parse_data_cfg(data)['names']) # 得到類別名列表: ['person', 'bicycle'...]colors = [[random.randint(0, 255) for _ in range(3)] for _ in range(len(classes))] # 對于每種類別隨機使用一種顏色畫框# Run inferencet0 = time.time()for i, (path, img, im0, vid_cap) in enumerate(dataloader):t = time.time()# if i < 500 or i % 5 == 0:# continuesave_path = str(Path(output) / Path(path).name) # 保存的路徑# Get detections shape: (3, 416, 320)img = torch.from_numpy(img).unsqueeze(0).to(device) # torch.Size([1, 3, 416, 320])pred, _ = model(img) # 經(jīng)過處理的網(wǎng)絡(luò)預(yù)測，和原始的det = non_max_suppression(pred.float(), conf_thres, nms_thres)[0] # torch.Size([5, 7])if det is not None and len(det) > 0:# Rescale boxes from 416 to true image size 映射到原圖det[:, :4] = scale_coords(img.shape[2:], det[:, :4], im0.shape).round()# Print results to screen image 1/3 data\samples\000493.jpg: 288x416 5 persons, Done. (0.869s)print('%gx%g ' % img.shape[2:], end='') # print image size '288x416'for c in det[:, -1].unique(): # 對圖片的所有類進(jìn)行遍歷循環(huán)n = (det[:, -1] == c).sum() # 得到了當(dāng)前類別的個數(shù)，也可以用來統(tǒng)計數(shù)目if classes[int(c)] == 'person':print('%g %ss' % (n, classes[int(c)]), end=', ') # 打印個數(shù)和類別'5 persons'# Draw bounding boxes and labels of detections# (x1y1x2y2, obj_conf, class_conf, class_pred)count = 0gallery_img = []gallery_loc = []for *xyxy, conf, cls_conf, cls in det: # 對于最后的預(yù)測框進(jìn)行遍歷# *xyxy: 對于原圖來說的左上角右下角坐標(biāo): [tensor(349.), tensor(26.), tensor(468.), tensor(341.)]if save_txt: # Write to filewith open(save_path + '.txt', 'a') as file:file.write(('%g ' * 6 + '\n') % (*xyxy, cls, conf))# Add bbox to the imagelabel = '%s %.2f' % (classes[int(cls)], conf) # 'person 1.00'if classes[int(cls)] == 'person':#plot_one_bo x(xyxy, im0, label=label, color=colors[int(cls)])xmin = int(xyxy[0])ymin = int(xyxy[1])xmax = int(xyxy[2])ymax = int(xyxy[3])w = xmax - xmin # 233h = ymax - ymin # 602# 如果檢測到的行人太小了，感覺意義也不大# 這里需要根據(jù)實際情況稍微設(shè)置下if w*h > 500:gallery_loc.append((xmin, ymin, xmax, ymax))crop_img = im0[ymin:ymax, xmin:xmax] # HWC (602, 233, 3)crop_img = Image.fromarray(cv2.cvtColor(crop_img, cv2.COLOR_BGR2RGB)) # PIL: (233, 602)crop_img = build_transforms(reidCfg)(crop_img).unsqueeze(0) # torch.Size([1, 3, 256, 128])gallery_img.append(crop_img)if gallery_img:gallery_img = torch.cat(gallery_img, dim=0) # torch.Size([7, 3, 256, 128])gallery_img = gallery_img.to(device)gallery_feats = reidModel(gallery_img) # torch.Size([7, 2048])print("The gallery feature is normalized")gallery_feats = torch.nn.functional.normalize(gallery_feats, dim=1, p=2) # 計算出查詢圖片的特征向量# m: 2# n: 7m, n = query_feats.shape[0], gallery_feats.shape[0]distmat = torch.pow(query_feats, 2).sum(dim=1, keepdim=True).expand(m, n) + \torch.pow(gallery_feats, 2).sum(dim=1, keepdim=True).expand(n, m).t()# out=(beta?M)+(alpha?mat1@mat2)# qf^2 + gf^2 - 2 * qf@gf.t()# distmat - 2 * qf@gf.t()# distmat: qf^2 + gf^2# qf: torch.Size([2, 2048])# gf: torch.Size([7, 2048])distmat.addmm_(1, -2, query_feats, gallery_feats.t())# distmat = (qf - gf)^2# distmat = np.array([[1.79536, 2.00926, 0.52790, 1.98851, 2.15138, 1.75929, 1.99410],# [1.78843, 1.96036, 0.53674, 1.98929, 1.99490, 1.84878, 1.98575]])distmat = distmat.cpu().numpy() # <class 'tuple'>: (3, 12)distmat = distmat.sum(axis=0) / len(query_feats) # 平均一下query中同一行人的多個結(jié)果index = distmat.argmin()if distmat[index] < dist_thres:print('距離：%s'%distmat[index])plot_one_box(gallery_loc[index], im0, label='find!', color=colors[int(cls)])# cv2.imshow('person search', im0)# cv2.waitKey()print('Done. (%.3fs)' % (time.time() - t))if opt.webcam: # Show live webcamcv2.imshow(weights, im0)if save_images: # Save image with detectionsif dataloader.mode == 'images':cv2.imwrite(save_path, im0)else:if vid_path != save_path: # new videovid_path = save_pathif isinstance(vid_writer, cv2.VideoWriter):vid_writer.release() # release previous video writerfps = vid_cap.get(cv2.CAP_PROP_FPS)width = int(vid_cap.get(cv2.CAP_PROP_FRAME_WIDTH))height = int(vid_cap.get(cv2.CAP_PROP_FRAME_HEIGHT))vid_writer = cv2.VideoWriter(save_path, cv2.VideoWriter_fourcc(*fourcc), fps, (width, height))vid_writer.write(im0)if save_images:print('Results saved to %s' % os.getcwd() + os.sep + output)if platform == 'darwin': # macosos.system('open ' + output + ' ' + save_path)print('Done. (%.3fs)' % (time.time() - t0))if __name__ == '__main__':parser = argparse.ArgumentParser()parser.add_argument('--cfg', type=str, default='cfg/yolov3.cfg', help="模型配置文件路徑")parser.add_argument('--data', type=str, default='data/coco.data', help="數(shù)據(jù)集配置文件所在路徑")parser.add_argument('--weights', type=str, default='weights/yolov3.weights', help='模型權(quán)重文件路徑')parser.add_argument('--images', type=str, default='data/samples', help='需要進(jìn)行檢測的圖片文件夾')parser.add_argument('-q', '--query', default=r'query', help='查詢圖片的讀取路徑.')parser.add_argument('--img-size', type=int, default=416, help='輸入分辨率大小')parser.add_argument('--conf-thres', type=float, default=0.1, help='物體置信度閾值')parser.add_argument('--nms-thres', type=float, default=0.4, help='NMS閾值')parser.add_argument('--dist_thres', type=float, default=1.0, help='行人圖片距離閾值，小于這個距離，就認(rèn)為是該行人')parser.add_argument('--fourcc', type=str, default='mp4v', help='fourcc output video codec (verify ffmpeg support)')parser.add_argument('--output', type=str, default='output', help='檢測后的圖片或視頻保存的路徑')parser.add_argument('--half', default=False, help='是否采用半精度FP16進(jìn)行推理')parser.add_argument('--webcam', default=False, help='是否使用攝像頭進(jìn)行檢測')opt = parser.parse_args()print(opt)with torch.no_grad():detect(opt.cfg,opt.data,opt.weights,images=opt.images,img_size=opt.img_size,conf_thres=opt.conf_thres,nms_thres=opt.nms_thres,dist_thres=opt.dist_thres,fourcc=opt.fourcc,output=opt.output)

6 最后

總結(jié)

以上是生活随笔為你收集整理的毕业设计之 --- 基于深度学习的行人重识别(person reid)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。