本人平時比較喜歡玩數(shù)獨，但比較難的數(shù)獨經(jīng)常一做就是半個多小時。這學(xué)期選了一門”計算機視覺”課，課程最后要做一個項目，正好我就想能不能寫一個程序，用手機拍個照或者截個圖，放進(jìn)程序里跑一下，自動就把題目識別然后解出來了，and it was so.

先來看一個opencv里自帶的數(shù)獨圖片：

程序的最終目的就是將這種圖像轉(zhuǎn)化為一個矩陣或者說二維數(shù)組，來要告訴計算機在9x9的方格中哪個位置有數(shù)字、數(shù)字是什么，就像下面的形式：

[[0 0 0 6 0 4 7 0 0][7 0 6 0 0 0 0 0 9][0 0 0 0 0 5 0 8 0][0 7 0 0 2 0 0 9 3][8 0 0 0 0 0 0 0 5][4 3 0 0 1 0 0 7 0][0 5 0 2 0 0 0 0 0][3 0 0 0 0 0 2 0 8][0 0 2 3 0 1 0 0 0]]

在這個二維數(shù)組里，用0表示要填寫的數(shù)字，用1-9表示識別出來的題目數(shù)字。

了解主要任務(wù)之后，下面就是具體的步驟了：

圖像預(yù)處理

識別邊框

圖像校正

提取數(shù)字

識別數(shù)字

計算答案

這里使用的語言及版本如下，關(guān)于開發(fā)環(huán)境的配置可以參考本人另一篇文章：

• Python 版本：3.6.3 （Anaconda 3）
• OpenCV 版本：3.3.1

第一篇文章主要講解圖像預(yù)處理部分，并給出使用 matplotlib 顯示 OpenCV 圖像的方法。

---

圖像預(yù)處理

首先是使用 cv2.imread() 函數(shù)讀取原圖片，然后使用 cv2.cvtColor() 灰度化，因為顏色信息不重要。之后是使用濾波算法進(jìn)行降噪處理，因為濾波處理對于識別效果有很大影響。常用的有均值濾波、高斯濾波、中值濾波、雙邊濾波等，具體使用方法可以參考這里。本文使用高斯濾波及中值濾波，但是濾波參數(shù)不能適用于所有情況的圖像， 必須根據(jù)圖像尺寸和清晰度做調(diào)整 。

img_original = cv2.imread('./images/p1.png') img_gray = cv2.cvtColor(img_original, cv2.COLOR_BGR2GRAY) img_Blur = cv2.medianBlur(img_gray, 3) img_Blur = cv2.GaussianBlur(img_Blur, (3, 3), 0)

可以看到，Python 版本的 OpenCV 與 C++ 版本有個很大的區(qū)別，就是處理后的圖像一般作為函數(shù)的返回值（之一），而C++需要將原圖像和處理后圖像的地址作為參數(shù)傳入，這是 Python 中函數(shù)可以返回多個值的特點決定的。

此圖片在預(yù)處理階段要解決的主要問題是亮度不均衡，圖像左下角比較暗，如果直接進(jìn)行二值化效果較差，對濾波后圖像取100作為閾值處理得到中間的圖像，左下部分圖像缺失；若進(jìn)行自適應(yīng)閾值操作，可以得到較好的效果，但左下部分線條亦有缺失：

參考 stackflow 上一位大神的方法，以圓形作為結(jié)構(gòu)化元素進(jìn)行閉操作，將灰度圖像除以閉操作后圖像，再進(jìn)行歸一化。

kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (11, 11)) close = cv2.morphologyEx(img_Blur, cv2.MORPH_CLOSE, kernel) div = np.float32(img_Blur) / close img_brightness_adjust = np.uint8(cv2.normalize(div, div, 0, 255, cv2.NORM_MINMAX))

第一句使用cv2.getStructuringElement() 獲取結(jié)構(gòu)元素，可以使用橢圓、矩形、十字形三種，這里使用橢圓。第二句使用cv2.morphologyEx() 對原圖使用剛才的結(jié)構(gòu)元素進(jìn)行閉操作。將灰度圖像除以閉操作后圖像，但要先轉(zhuǎn)換成 float32 類型才能除，/ 運算符相當(dāng)于調(diào)用numpy中的divide函數(shù)，即點除，又即每個像素點分別相除，且只保留整數(shù)部分。最后將除的結(jié)果歸一化到 [0, 255] 區(qū)間內(nèi)，并轉(zhuǎn)換回 無符號8位整數(shù)（uint8） 類型。

結(jié)果如下圖，效果拔群：

下一步是二值化，OpenCV中二值化有簡單閾值、自適應(yīng)閾值、Otsu’s二值化等方法，可以參考這里。簡單閾值是一種全局性的閾值，整個圖像都和這個閾值比較。而自適應(yīng)閾值可以看成一種局部性的閾值，通過規(guī)定一個區(qū)域大小，比較這個點與區(qū)域大小里面像素點的平均值（或者其他特征）的大小關(guān)系確定這個像素點是屬于黑或者白。這里使用自適應(yīng)閾值方法，代碼如下：

img_thresh = cv2.adaptiveThreshold(img_brightness_adjust, 255,cv2.ADAPTIVE_THRESH_GAUSSIAN_C,cv2.THRESH_BINARY_INV, 11, 7)

使用 cv2.adaptiveThreshold() 函數(shù)， 其中 cv2.ADAPTIVE_THRESH_GAUSSIAN_C 代表在小區(qū)域內(nèi)閾值選取為加權(quán)和，以高斯分布確定權(quán)重。cv2.THRESH_BINARY_INV 代表二值化的結(jié)果取反，為下一步形態(tài)學(xué)處理做準(zhǔn)備。

---

使用 matplotlib 顯示 OpenCV 圖像

Matplotlib是Python中最常用的可視化工具之一，可以非常方便地創(chuàng)建海量類型地2D圖表和一些基本的3D圖表。也可以方便地顯示圖像。

眾所周知，OpenCV 中彩色圖像的像素是以 Bule Green Red 為順序的，也就是BGR，而普通的圖像則是采用RGB順序，因此要在其他地方（如Qt、matplotlib 中）使用 OpenCV 的彩色圖像，就必須轉(zhuǎn)換格式。

我將使用 matplotlib 顯示 OpenCV 圖像的功能寫成了一個函數(shù)：

def plotImg(img, title=""):if img.ndim == 3:b, g, r = cv2.split(img)img = cv2.merge([r, g, b])plt.imshow(img), plt.axis("off")else:plt.imshow(img, cmap='gray'), plt.axis("off")plt.title(title)plt.show()

這里先判斷輸入圖像是不是3維，即彩色圖，是的話進(jìn)行轉(zhuǎn)換，不是的話作為灰度圖顯示。轉(zhuǎn)換代碼中分割再重新組合的方法，還可以使用 img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) 。注意如果灰度圖不加 cmap='gray' 這個參數(shù)，會顯示為“熱度圖”。

當(dāng)然不要忘了開頭加上：

import cv2 from matplotlib import pyplot as plt

matplotlib 還可以像 MATLAB 里一樣方便的顯示多個圖像，例如這里并列顯示兩幅圖像：

def plotImgs(img1, img2):if img1.ndim == 3:b, g, r = cv2.split(img1)img1 = cv2.merge([r, g, b])plt.subplot(121), plt.imshow(img1), plt.axis("off")else:plt.subplot(121), plt.imshow(img1, cmap='gray'), plt.axis("off")if img2.ndim == 3:b, g, r = cv2.split(img2)img2 = cv2.merge([r, g, b])plt.subplot(122), plt.imshow(img2), plt.axis("off")else:plt.subplot(122), plt.imshow(img2, cmap='gray'), plt.axis("off")plt.show()

其中 plt.subplot(121) 就代表一行兩列圖像中的第一個。

編寫計算機視覺程序時可以使用上述函數(shù)將中間過程圖像顯示出來，方便觀察與調(diào)試。例如：

總結(jié)

以上是生活随笔為你收集整理的基于OpenCV及Python的数独问题识别与求解（一）图像预处理的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。