自然場(chǎng)景文本檢測(cè)是圖像處理的核心模塊，也是一直想要接觸的一個(gè)方面。

? ? ? ?剛好看到國內(nèi)的曠視今年在CVPR2017的一篇文章：EAST: An Efficient and Accurate Scene Text Detector。而且有開放的代碼，學(xué)習(xí)和測(cè)試了下。

? ? ??

? ? ? ?題目說的是比較高效，它的高效主要體現(xiàn)在對(duì)一些過程的消除，其架構(gòu)就是下圖中對(duì)應(yīng)的E部分，跟上面的比起來的確少了比較多的過程。這與去年經(jīng)典的CTPN架構(gòu)類似。不過CTPN只支持水平方向，而EAST在論文中指出是可以支持多方向文本的定位的。

? ? ? ?對(duì)于長文本效果不好。

?

?

優(yōu)勢(shì)：

提供了方向信息，可以檢測(cè)各個(gè)方向的文本

缺點(diǎn)：

對(duì)較長的文本檢測(cè)效果不好，感受野不夠長

?

?

整體網(wǎng)絡(luò)結(jié)構(gòu)分為3個(gè)部分

(1) 特征提取層：

使用的基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)是PVANet，分別從stage1，stage2，stage3，stage4抽出特征，一種FPN(feature pyramid network)的思想。

(2) 特征融合層：

第一步抽出的特征層從后向前做上采樣，然后concat

(3) 輸出層：

輸出一個(gè)score map和4個(gè)回歸的框+1個(gè)角度信息，或者輸出，一個(gè)scoremap和8個(gè)坐標(biāo)信息。

?

由于程序?qū)崿F(xiàn)使用的基礎(chǔ)網(wǎng)絡(luò)不是pvanet網(wǎng)絡(luò)，而是resnet50-v1。

在caffe版本的resnet50實(shí)現(xiàn)中，只有第一個(gè)卷積后面的pooling和最后一層的gloabl pooling，詳細(xì)結(jié)構(gòu)見reference，網(wǎng)絡(luò)通過卷積層的stride=2操作實(shí)現(xiàn)類似pooling的效果

而本程序使用的slim中帶的resnet50包含了5個(gè)pooling。

Resnet50結(jié)構(gòu)，最后一個(gè)featuremap本質(zhì)上將輸入圖像縮小16倍(4個(gè)pooling)，最后一個(gè)gloabl pooling，類似于vgg中的全連接。gloabl pooling是googlenet和Resnet的專利。

本文網(wǎng)絡(luò)結(jié)構(gòu)主要取了pool2，pool3，pool4，pool5，的featuremap引出，分別進(jìn)行uppooling，concat，conv操作，得到最終的featuremap，然后進(jìn)行卷積，分別輸出channel=1的F_score

，channel=4的geo_map，channel=1的angle_map。

標(biāo)簽生成過程：

?

?

(a) 中黃色的為人工標(biāo)注的框，綠色為對(duì)黃色框進(jìn)行0.3倍邊長的縮放后的框，這樣做可以進(jìn)一步去除人工標(biāo)注的誤差，拿到更準(zhǔn)確的label信息。

(b) 為根據(jù)(a)中綠色框生成的label信息

(c) 中先生成一個(gè)(b)中白色區(qū)域的最小外接矩，然后算每一個(gè)(b)中白色的點(diǎn)到粉色最小外接矩的上下左右邊的距離，即生成(d)，然后生成粉色的矩形和水平方向的夾角，即生成角度信息(e)，e中所有灰色部分的角度信息一樣，都是同樣的角度。

論文采用的架構(gòu)如下：

?

?后來，有大佬改進(jìn)EAST針對(duì)長文本檢測(cè)效果不好的缺陷，提出advancedEAST，結(jié)構(gòu)如下：

?

開源源碼：https://github.com/huoyijie/AdvancedEAST

?

?

轉(zhuǎn)自： https://blog.csdn.net/sparkexpert/article/details/77987654 https://blog.csdn.net/qq_14845119/article/details/78986449

僅為學(xué)習(xí)記錄，侵刪，感謝作者。

轉(zhuǎn)載于:https://www.cnblogs.com/Allen-rg/p/9729469.html

總結(jié)

以上是生活随笔為你收集整理的EAST 自然场景文本检测的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。