机器视觉和Tesseract
機器視覺
從 Google 的無人駕駛汽車到可以識別假鈔的自動售賣機，機器視覺一直都是一個應用廣 泛且具有深遠的影響和雄偉的愿景的領域。
我們將重點介紹機器視覺的一個分支：文字識別，介紹如何用一些 Python庫來識別和使用在線圖片中的文字。
我們可以很輕松的閱讀圖片里的文字，但是機器閱讀這些圖片就會非常困難，利用這種人類用戶可以正常讀取但是大多數機器人都沒法讀取的圖片，驗證碼 (CAPTCHA)就出現了。驗證碼讀取的難易程度也大不相同，有些驗證碼比其他的更加難讀。
將圖像翻譯成文字一般被稱為光學文字識別(Optical Character Recognition, OCR)。可以實現OCR的底層庫并不多,目前很多庫都是使用共同的幾個底層 OCR 庫,或者是在上面 進行定制。
ORC庫概述
在讀取和處理圖像、圖像相關的機器學習以及創建圖像等任務中，Python 一直都是非常出色的語言。雖然有很多庫可以進行圖像處理，但在這里我們只重點介紹：Tesseract
Tesseract
Tesseract 是一個 OCR 庫,目前由 Google 贊助(Google 也是一家以 OCR 和機器學習技術聞名于世的公司)。Tesseract 是目前公認最優秀、最精確的開源 OCR 系統。 除了極高的精確度,Tesseract 也具有很高的靈活性。它可以通過訓練識別出任何字體，也可以識別出任何 Unicode 字符。
安裝Tesseract
Windows 系統
下載可執行安裝文件https://code.google.com/p/tesseract-ocr/downloads/list安裝。
Linux 系統
可以通過 apt-get 安裝:?
$sudo apt-get install tesseract-ocrMac OS X系統
用 Homebrew(http://brew.sh/)等第三方庫可以很方便地安裝?brew install tesseract
要使用 Tesseract 的功能，比如后面的示例中訓練程序識別字母，要先在系統中設置一 個新的環境變量?$TESSDATA_PREFIX，讓 Tesseract 知道訓練的數據文件存儲在哪里，然后搞一份tessdata數據文件，放到Tesseract目錄下。
-
在大多數 Linux 系統和 Mac OS X 系統上,你可以這么設置:?$export TESSDATA_PREFIX=/usr/local/share/Tesseract
-
在 Windows 系統上也類似,你可以通過下面這行命令設置環境變量:?#setx TESSDATA_PREFIX C:\Program Files\Tesseract OCR\Tesseract
安裝pytesseract
Tesseract 是一個 Python 的命令行工具，不是通過 import 語句導入的庫。安裝之后,要用 tesseract 命令在 Python 的外面運行，但我們可以通過 pip 安裝支持Python 版本的 Tesseract庫：
pip install pytesseract處理給規范的文字
你要處理的大多數文字都是比較干凈、格式規范的。格式規范的文字通常可以滿足一些需求,不過究竟什么是“格式混亂”,什么算“格式規范”,確實因人而異。 通常,格式規范的文字具有以下特點:
- 使用一個標準字體(不包含手寫體、草書,或者十分“花哨的”字體) ? 雖然被復印或拍照,字體還是很清晰,沒有多余的痕跡或污點
- 排列整齊,沒有歪歪斜斜的字
- 沒有超出圖片范圍,也沒有殘缺不全,或緊緊貼在圖片的邊緣
文字的一些格式問題在圖片預處理時可以進行解決。例如,可以把圖片轉換成灰度圖,調 整亮度和對比度,還可以根據需要進行裁剪和旋轉（詳情請關注圖像與信號處理），但是,這些做法在進行更具擴展性的 訓練時會遇到一些限制。
格式規范文字的理想示例
通過下面的命令運行 Tesseract，讀取文件并把結果寫到一個文本文件中: `tesseract test.jpg text
cat text.txt?即可顯示結果。
識別結果很準確,不過符號^和*分別被表示成了雙引號和單引號。大體上可以讓你很舒服地閱讀。
通過Python代碼實現
import pytesseract from PIL import Imageimage = Image.open('test.jpg') text = pytesseract.image_to_string(image) print text運行結果：
This is some text, written in Arial, that will be read by Tesseract. Here are some symbols: !@#$%"&*()對圖片進行閾值過濾和降噪處理（了解即可）
很多時候我們在網上會看到這樣的圖片：
Tesseract 不能完整處理這個圖片,主要是因為圖片背景色是漸變的,最終結果是這樣:
隨著背景色從左到右不斷加深,文字變得越來越難以識別,Tesseract 識別出的 每一行的最后幾個字符都是錯的。
遇到這類問題,可以先用 Python 腳本對圖片進行清理。利用 Pillow 庫,我們可以創建一個 閾值過濾器來去掉漸變的背景色,只把文字留下來,從而讓圖片更加清晰,便于 Tesseract 讀取:
from PIL import Image import subprocessdef cleanFile(filePath, newFilePath): image = Image.open(filePath)# 對圖片進行閾值過濾,然后保存image = image.point(lambda x: 0 if x<143 else 255) image.save(newFilePath)# 調用系統的tesseract命令對圖片進行OCR識別 subprocess.call(["tesseract", newFilePath, "output"])# 打開文件讀取結果file = open("output.txt", 'r') print(file.read()) file.close()cleanFile("text2.jpg", "text2clean.png")通過一個閾值對前面的“模糊”圖片進行過濾的結果
除了一些標點符號不太清晰或丟失了,大部分文字都被讀出來了。Tesseract 給出了最好的 結果:
從網站圖片中抓取文字
用 Tesseract 讀取硬盤里圖片上的文字,可能不怎么令人興奮,但當我們把它和網絡爬蟲組合使用時,就能成為一個強大的工具。
網站上的圖片可能并不是故意把文字做得很花哨 (就像餐館菜單的 JPG 圖片上的藝術字),但它們上面的文字對網絡爬蟲來說就是隱藏起來 了，舉個例子：
-
雖然亞馬遜的 robots.txt 文件允許抓取網站的產品頁面,但是圖書的預覽頁通常不讓網絡機 器人采集。
-
圖書的預覽頁是通過用戶觸發 Ajax 腳本進行加載的,預覽圖片隱藏在 div 節點 下面;其實,普通的訪問者會覺得它們看起來更像是一個 Flash 動畫,而不是一個圖片文 件。當然,即使我們能獲得圖片,要把它們讀成文字也沒那么簡單。
-
下面的程序就解決了這個問題:首先導航到托爾斯泰的《戰爭與和平》的大字號印刷版 1, 打開閱讀器,收集圖片的 URL 鏈接,然后下載圖片,識別圖片,最后打印每個圖片的文 字。因為這個程序很復雜,利用了前面幾章的多個程序片段,所以我增加了一些注釋以讓 每段代碼的目的更加清晰:
和我們前面使用 Tesseract 讀取的效果一樣,這個程序也會完美地打印書中很多長長的段 落,第六頁的預覽如下所示:
6"A word of friendly advice, moncher. Be off as soon as you can,that's all I have to tell you. Happyhe who has ears to hear. Good-by,my dear fellow. Oh, by the by!" heshouted through the doorway afterPierre, "is it true that the countesshas fallen into the clutches of theholy fathers of the Society of je-sus?"Pierre did not answer and left Ros-topchin's room more sullen and an-gry than he had ever before shownhimself.但是,當文字出現在彩色封面上時,結果就不那么完美了:
WEI' nrrd PeaceLen Nlkelayevldu IolfluyReadmg shmdd be axwlnvame asnossxble Wenfleran mm m our cram: Llhvary- Leo Tmsloy was a Russian rwovelwstI and moval phflmopher med lurA ms Ideas 01 nonviolenx reswslance m 5 We range 0, "and"如果想把文字加工成普通人可以看懂的 效果,還需要花很多時間去處理。
下一節將介紹另一種方法來解決文字混亂的問題,尤其是當你愿意花一點兒時間訓練 Tesseract 的時候。
通過給 Tesseract 提供大量已知的文字與圖片映射集,經過訓練 Tesseract 就可以“學會”識別同一種字體,而且可以達到極高的精確率和準確率,甚至可以忽略圖 片中文字的背景色和相對位置等問題。
嘗試對知乎網驗證碼進行處理：
許多流行的內容管理系統即使加了驗證碼模塊，其眾所周知的注冊頁面也經常會遭到網絡 機器人的垃圾注冊。
那么，這些網絡機器人究，竟是怎么做的呢?既然我們已經，可以成功地識別出保存在電腦上 的驗證碼了，那么如何才能實現一個全能的網絡機器人呢?
大多數網站生成的驗證碼圖片都具有以下屬性。
- 它們是服務器端的程序動態生成的圖片。驗證碼圖片的 src 屬性可能和普通圖片不太一 樣，比如?<img src="WebForm.aspx?id=8AP85CQKE9TJ">，但是可以和其他圖片一樣進行 下載和處理。
- 圖片的答案存儲在服務器端的數據庫里。
- 很多驗證碼都有時間限制，如果你太長時間沒解決就會失效。
- 常用的處理方法就是，首先把驗證碼圖片下載到硬盤里，清理干凈，然后用 Tesseract 處理 圖片，最后返回符合網站要求的識別結果。
?
值得注意的是，有兩種異常情況會導致這個程序運行失敗。第一種情況是，如果 Tesseract 從驗證碼圖片中識別的結果不是四個字符(因為訓練樣本中驗證碼的所有有效答案都必須 是四個字符)，結果不會被提交，程序失敗。第二種情況是雖然識別的結果是四個字符， 被提交到了表單，但是服務器對結果不認可，程序仍然失敗。
在實際運行過程中，第一種 情況發生的可能性大約為 50%，發生時程序不會向表單提交，程序直接結束并提示驗證碼 識別錯誤。第二種異常情況發生的概率約為 20%，四個字符都對的概率約是 30%(每個字 母的識別正確率大約是 80%，如果是五個字符都識別，正確的總概率是 32.8%)。
訓練Tesseract
大多數其他的驗證碼都是比較簡單的。例如，流行的 PHP 內容管理系統 Drupal 有一個著 名的驗證碼模塊(https://www.drupal.org/project/captcha)，可以生成不同難度的驗證碼。
那么與其他驗證碼相比，究竟是什么讓這個驗證碼更容易被人類和機器讀懂呢?
- 字母沒有相互疊加在一起，在水平方向上也沒有彼此交叉。也就是說，可以在每一個字 母外面畫一個方框，而不會重疊在一起。
- 圖片沒有背景色、線條或其他對 OCR 程序產生干擾的噪點。
- 雖然不能因一個圖片下定論，但是這個驗證碼用的字體種類很少，而且用的是 sans-serif 字體(像“4”和“M”)和一種手寫形式的字體(像“m”“C”和“3”)。
- 白色背景色與深色字母之間的對比度很高。
這個驗證碼只做了一點點改變，就讓 OCR 程序很難識別。
- 字母和數據都使用了，這會增加待搜索字符的數量。
- 字母隨機的傾斜程度會迷惑 OCR 軟件，但是人類還是很容易識別的。
- 那個比較陌生的手寫字體很有挑戰性，在“C”和“3”里面還有額外的線條。另外這 個非常小的小寫“m”，計算機需要進行額外的訓練才能識別。 用下面的代碼運行 Tesseract 識別圖片:
?
我們得到的結果 output.txt 是: 4N\，，，C<3
訓練Tesseract
要訓練 Tesseract 識別一種文字，無論是晦澀難懂的字體還是驗證碼，你都需要向 Tesseract 提供每個字符不同形式的樣本。
做這個枯燥的工作可能要花好幾個小時的時間，你可能更想用這點兒時間找個好看的視頻 或電影看看。首先要把大量的驗證碼樣本下載到一個文件夾里。
下載的樣本數量由驗證碼 的復雜程度決定;我在訓練集里一共放了 100 個樣本(一共 500 個字符，平均每個字符 8 個樣本;a~z 大小寫字母加 0~9 數字，一共 62 個字符)，應該足夠訓練的了。
提示:建議使用驗證碼的真實結果給每個樣本文件命名(即4MmC3.jpg)。 這樣可以幫你 一次性對大量的文件進行快速檢查——你可以先把圖片調成縮略圖模式，然后通過文件名 對比不同的圖片。這樣在后面的步驟中進行訓練效果的檢查也會很方便。
第二步是準確地告訴 Tesseract 一張圖片中的每個字符是什么，以及每個字符的具體位置。 這里需要創建一些矩形定位文件(box file)，一個驗證碼圖片生成一個矩形定位文件。一 個圖片的矩形定位文件如下所示:
4 15 26 33 55 0M 38 13 67 45 0m 79 15 101 26 0C 111 33 136 60 03 147 17 176 45 0?
第一列符號是圖片中的每個字符，后面的 4 個數字分別是包圍這個字符的最小矩形的坐標 (圖片左下角是原點 (0，0)，4 個數字分別對應每個字符的左下角 x 坐標、左下角 y 坐標、右上角 x 坐標和右上角 y 坐標)，最后一個數字“0”表示圖片樣本的編號。
顯然，手工創建這些圖片矩形定位文件很無聊，不過有一些工具可以幫你完成。我很喜歡 在線工具 Tesseract OCR Chopper(http://pp19dd.com/tesseract-ocr-chopper/)，因為它不需要?安裝，也沒有其他依賴，只要有瀏覽器就可以運行，而且用法很簡單:上傳圖片，如果要 增加新矩形就單擊“add”按鈕，還可以根據需要調整矩形的尺寸，最后把新生成的矩形 定位文件復制到一個新文件里就可以了。
矩形定位文件必須保存在一個 .box 后綴的文本文件中。和圖片文件一樣，文本文件也是用 驗證碼的實際結果命名(例如，4MmC3.box)。另外，這樣便于檢查 .box 文件的內容和文件的名稱，而且按文件名對目錄中的文件排序之后，就可以讓 .box 文件與對應的圖片文件 的實際結果進行對比。
你還需要創建大約 100 個 .box 文件來保證你有足夠的訓練數據。因為 Tesseract 會忽略那 些不能讀取的文件，所以建議你盡量多做一些矩形定位文件，以保證訓練足夠充分。如果 你覺得訓練的 OCR 結果沒有達到你的目標，或者 Tesseract 識別某些字符時總是出錯，多 創建一些訓練數據然后重新訓練將是一個不錯的改進方法。
創建完滿載 .box 文件和圖片文件的數據文件夾之后，在做進一步分析之前最好備份一下這 個文件夾。雖然在數據上運行訓練程序不太可能刪除任何數據，但是創建 .box 文件用了你 好幾個小時的時間，來之不易，穩妥一點兒總沒錯。此外，能夠抓取一個滿是編譯數據的 混亂目錄，然后再嘗試一次，總是好的。
前面的內容只是對 Tesseract 庫強大的字體訓練和識別能力的一個簡略概述。如果你對 Tesseract 的其他訓練方法感興趣，甚至打算建立自己的驗證碼訓練文件庫，或者想和全世 界的 Tesseract 愛好者分享自己對一種新字體的識別成果，推薦閱讀 Tesseract 的文檔：https://github.com/tesseract-ocr/tesseract/wiki，加油！
轉載于:https://www.cnblogs.com/alexzhang92/p/9494252.html
總結
以上是生活随笔為你收集整理的机器视觉和Tesseract的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 我的第一个python web开发框架（
- 下一篇： Android学习笔记——Handler