光流

目標(biāo)
　　本節(jié)我們將要學(xué)習(xí)：
　　? 光流的概念以及 Lucas-Kanade 光流法
　　? 使用函數(shù) cv2.calcOpticalFlowPyrLK() 對圖像中的特征點(diǎn)進(jìn)行跟蹤
　　
光流
　　由于目標(biāo)對象或者攝像機(jī)的移動造成的圖像對象在連續(xù)兩幀圖像中的移動被稱為光流。它是一個 2D 向量場，可以用來顯示一個點(diǎn)從第一幀圖像到第二幀圖像之間的移動。如下圖所示（Image Courtesy: Wikipedia article on Optical Flow）：
　　
　　上圖顯示了一個點(diǎn)在連續(xù)的五幀圖像間的移動。箭頭表示光流場向量。光流在很多領(lǐng)域中都很有用：
　　? 由運(yùn)動重建結(jié)構(gòu)
　　? 視頻壓縮
　　? Video Stabilization 等

光流是基于一下假設(shè)的：

在連續(xù)的兩幀圖像之間（目標(biāo)對象的）像素的灰度值不改變。

相鄰的像素具有相同的運(yùn)動
　　
第一幀圖像中的像素 I (x，y，t) 在時(shí)間 dt 后移動到第二幀圖像的（x+dx，y+dy）處。根據(jù)第一條假設(shè)：灰度值不變。所以我們可以得到：
對等號右側(cè)進(jìn)行泰勒級數(shù)展開，消去相同項(xiàng)，兩邊都除以 dt，得到如下方程：

　　上邊的等式叫做光流方程。其中 fx 和 fy 是圖像梯度，同樣 ft 是時(shí)間方向的梯度。但（u，v）是不知道的。我們不能在一個等式中求解兩個未知數(shù)。有幾個方法可以幫我們解決這個問題，其中的一個是 Lucas-Kanade 法

Lucas-Kanade 法
　　 現(xiàn)在我們要使用第二條假設(shè)，鄰域內(nèi)的所有點(diǎn)都有相似的運(yùn)動。LucasKanade 法就是利用一個 3x3 鄰域中的 9 個點(diǎn)具有相同運(yùn)動的這一點(diǎn)。這樣我們就可以找到這 9 個點(diǎn)的光流方程，用它們組成一個具有兩個未知數(shù) 9 個等式的方程組，這是一個約束條件過多的方程組。一個好的解決方法就是使用最小二乘擬合。下面就是求解結(jié)果：

　　（有沒有發(fā)現(xiàn)上邊的逆矩陣與 Harris 角點(diǎn)檢測器非常相似，這說明角點(diǎn)很適合被用來做跟蹤）
　　從使用者的角度來看，想法很簡單，我們?nèi)「櫼恍c(diǎn)，然后我們就會獲得這些點(diǎn)的光流向量。但是還有一些問題。直到現(xiàn)在我們處理的都是很小的運(yùn)動。如果有大的運(yùn)動怎么辦呢？圖像金字塔。我們可以使用圖像金字塔的頂層，此時(shí)小的運(yùn)動被移除，大的運(yùn)動裝換成了小的運(yùn)動，現(xiàn)在再使用 Lucas-Kanade算法，我們就會得到尺度空間上的光流。
　　
OpenCV 中的 Lucas-Kanade 光流
　　上述所有過程都被 OpenCV 打包成了一個函數(shù)cv2.calcOpticalFlowPyrLK()。現(xiàn)在我們使用這個函數(shù)創(chuàng)建一個小程序來跟蹤視頻中的一些點(diǎn)。要跟蹤那些點(diǎn)呢？我們使用函數(shù)cv2.goodFeatureToTrack() 來確定要跟蹤的點(diǎn)。我們首先在視頻的第一幀圖像中檢測一些 Shi-Tomasi 角點(diǎn)，然后我們使用 LucasKanade 算法迭代跟蹤這些角點(diǎn)。我們要給函數(shù) cv2.calcOpticlaFlowPyrLK()傳入前一幀圖像和其中的點(diǎn)，以及下一幀圖像。函數(shù)將返回帶有狀態(tài)數(shù)的點(diǎn)，如果狀態(tài)數(shù)是 1，那說明在下一幀圖像中找到了這個點(diǎn)（上一幀中角點(diǎn)），如果狀態(tài)數(shù)是 0，就說明沒有在下一幀圖像中找到這個點(diǎn)。我們再把這些點(diǎn)作為參數(shù)傳給函數(shù)，如此迭代下去實(shí)現(xiàn)跟蹤。代碼如下：
　　(上面的代碼沒有對返回角點(diǎn)的正確性進(jìn)行檢查。圖像中的一些特征點(diǎn)甚至在丟失以后，光流還會找到一個預(yù)期相似的點(diǎn)。所以為了實(shí)現(xiàn)穩(wěn)定的跟蹤，我們應(yīng)該每個一定間隔就要進(jìn)行一次角點(diǎn)檢測。OpenCV 的官方示例中帶有這樣一個例子，它是每 5 幀進(jìn)行一個特征點(diǎn)檢測。它還對光流點(diǎn)使用反向檢測來選取好的點(diǎn)進(jìn)行跟蹤。示例為/samples/python2/lk_track.py)

# -*- coding: utf-8 -*- """ Created on Mon Jan 27 12:28:25 2014 @author: duan """ import numpy as np import cv2 cap = cv2.VideoCapture('slow.flv') # params for ShiTomasi corner detection feature_params = dict( maxCorners = 100, qualityLevel = 0.3, minDistance = 7, blockSize = 7 ) # Parameters for lucas kanade optical flow #maxLevel 為使用的圖像金字塔層數(shù) lk_params = dict( winSize = (15,15), maxLevel = 2, criteria = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 0.03)) # Create some random colors color = np.random.randint(0,255,(100,3)) # Take first frame and find corners in it ret, old_frame = cap.read() old_gray = cv2.cvtColor(old_frame, cv2.COLOR_BGR2GRAY) p0 = cv2.goodFeaturesToTrack(old_gray, mask = None, **feature_params) # Create a mask image for drawing purposes mask = np.zeros_like(old_frame) while(1): ret,frame = cap.read() frame_gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) # calculate optical flow 能夠獲取點(diǎn)的新位置 p1, st, err = cv2.calcOpticalFlowPyrLK(old_gray, frame_gray, p0, None, **lk_params) # Select good points good_new = p1[st==1] good_old = p0[st==1] # draw the tracks for i,(new,old) in enumerate(zip(good_new,good_old)): a,b = new.ravel() c,d = old.ravel() mask = cv2.line(mask, (a,b),(c,d), color[i].tolist(), 2) frame = cv2.circle(frame,(a,b),5,color[i].tolist(),-1) img = cv2.add(frame,mask) cv2.imshow('frame',img) k = cv2.waitKey(30) & 0xff if k == 27: break # Now update the previous frame and previous points old_gray = frame_gray.copy() p0 = good_new.reshape(-1,1,2) cv2.destroyAllWindows() cap.release()

下面是我的到的結(jié)果：

OpenCV 中的稠密光流
　　Lucas-Kanade 法是計(jì)算一些特征點(diǎn)的光流（我們上面的例子使用的是Shi-Tomasi 算法檢測到的角點(diǎn)）。OpenCV 還提供了一種計(jì)算稠密光流的方法。它會圖像中的所有點(diǎn)的光流。這是基于 Gunner_Farneback 的算法（2003 年）。
　　下面的例子就是使用上面的算法計(jì)算稠密光流。結(jié)果是一個帶有光流向量（u，v）的雙通道數(shù)組。通過計(jì)算我們能得到光流的大小和方向。我們使用顏色對結(jié)果進(jìn)行編碼以便于更好的觀察。方向?qū)?yīng)于 H（Hue）通道，大小對應(yīng)于 V（Value）通道。代碼如下：

# -*- coding: utf-8 -*- """ Created on Mon Jan 27 12:28:46 2014 @author: duan """ import cv2 import numpy as np cap = cv2.VideoCapture("vtest.avi") ret, frame1 = cap.read() prvs = cv2.cvtColor(frame1,cv2.COLOR_BGR2GRAY) hsv = np.zeros_like(frame1) hsv[...,1] = 255 while(1): ret, frame2 = cap.read() next = cv2.cvtColor(frame2,cv2.COLOR_BGR2GRAY) #cv2.calcOpticalFlowFarneback(prev, next, pyr_scale, levels, winsize, iterations, poly_n, #poly_sigma, flags[) #pyr_scale – parameter, specifying the image scale (<1) to build pyramids for each image; #pyr_scale=0.5 means a classical pyramid, where each next layer is twice smaller than the #previous one. #poly_n – size of the pixel neighborhood used to find polynomial expansion in each pixel; #typically poly_n =5 or 7. #poly_sigma – standard deviation of the Gaussian that is used to smooth derivatives used #as a basis for the polynomial expansion; for poly_n=5, you can set poly_sigma=1.1, for #poly_n=7, a good value would be poly_sigma=1.5. #flag 可選 0 或 1,0 計(jì)算快，1 慢但準(zhǔn)確 flow = cv2.calcOpticalFlowFarneback(prvs,next, None, 0.5, 3, 15, 3, 5, 1.2, 0) #cv2.cartToPolar Calculates the magnitude and angle of 2D vectors. mag, ang = cv2.cartToPolar(flow[...,0], flow[...,1]) hsv[...,0] = ang*180/np.pi/2 hsv[...,2] = cv2.normalize(mag,None,0,255,cv2.NORM_MINMAX) rgb = cv2.cvtColor(hsv,cv2.COLOR_HSV2BGR) cv2.imshow('frame2',rgb) k = cv2.waitKey(30) & 0xff if k == 27: break elif k == ord('s'): cv2.imwrite('opticalfb.png',frame2) cv2.imwrite('opticalhsv.png',rgb) prvs = next cap.release() cv2.destroyAllWindows()

結(jié)果如下：

OpenCV 的官方示例中有一個更高級的稠密光流/samples/python2/opt_flow.py，去搞定它吧！

總結(jié)

以上是生活随笔為你收集整理的光流的概念以及 Lucas-Kanade 光流法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。