SOTA级发丝抠图模型PP-Matting开源,支持多场景精细化分割
你還在用P.S.等商業(yè)軟件,滑著鼠標(biāo),一點點勾勒圖像邊緣完成摳圖嘛?有些大神可能會說:我可以用蒙板、通道等等高端操作實現(xiàn)超快摳圖!但如果能有一個軟件可以實現(xiàn)智能全自動摳圖,完美保留發(fā)絲、樹葉等精細(xì)邊緣,還完全免費,甚至代碼全部開源——它不香嘛?
圖1 Matting效果展示
這絕對不是畫餅,近期一項被稱為Matting的算法可算是火爆了AI界,相比于單純的圖像分割技術(shù),它可以根據(jù)透明度更進一步的對圖像的像素進行分類(如下圖),不僅圖像中的主體目標(biāo)被精準(zhǔn)摳出,連超精細(xì)的毛絨邊緣和透明玻璃杯都可以完美摳出!傳統(tǒng)的圖像分割摳圖策略是完全不可達到的,懂行的人看到這里是不是已經(jīng)激動地汗毛直立了?
圖2 Matting原理說明
小編趕緊給大家貼上項目鏈接地址
墻裂推薦小伙伴們star收藏!
https://github.com/PaddlePaddle/PaddleSeg/tree/release/2.5/Matting
本項目是PaddleSeg團隊推出的高性能PP-Matting系列模型,它根據(jù)用戶對圖像分辨率的需求,提供最相匹配的模型,精度上能夠在Trimap Free方向達到SOTA級別。此外,本項目還充分考慮了實際部署環(huán)境,針對邊緣端、服務(wù)端等對模型體積等指標(biāo)進行相應(yīng)優(yōu)化。
不僅如此,PaddleSeg團隊還特別針對人像進行特殊優(yōu)化處理,提供了不同場景下的預(yù)訓(xùn)練模型及部署模型,既可直接部署使用,也可根據(jù)具體任務(wù)進行微調(diào),簡直貼心到家!
圖3 PP-Matting 算法精度說明
PP-Matting已經(jīng)被開發(fā)者們廣泛應(yīng)用在各種場景中,如有愛的萌寵開發(fā)者小伙伴們已經(jīng)實現(xiàn)了”貓像摳圖”,給自己可愛的小貓咪DIY了各種酷炫寫真。
圖4 “貓像摳圖”示例
此外,有開發(fā)者基于Matting模型,開發(fā)了一鍵上傳圖片進行摳圖的Web Demo,同樣歡迎大家在PaddleSeg的github頁面訪問使用。鏈接如下:
https://github.com/PaddlePaddle/PaddleSeg/tree/release/2.5/Matting
圖5 Web端Matting示例
當(dāng)然,看到這么好的技術(shù),硬核的小伙伴會關(guān)注技術(shù)上的實現(xiàn)。一般來說,基于深度學(xué)習(xí)的Matting分為兩大類:
-
一種是基于輔助信息輸入。即除了原圖和標(biāo)注圖像外,還需要輸入其他的信息輔助預(yù)測,如Trimap、背景、交互點等作為輔助信息。
-
一種是不依賴任何輔助信息,直接實現(xiàn)Alpha預(yù)測。
圖6 Matting原理說明
而PP-Matting設(shè)計的初衷,就是為了能夠方便用戶快速實現(xiàn)摳圖,因此用戶在使用時不依賴輔助信息的輸入,便可直接獲得預(yù)測的結(jié)果。為了實現(xiàn)更高的效果,PP-Matting設(shè)計了Semantic context branch (SCB)、high-resolution detail branch (HRDB)兩個分支,分別進行語義和細(xì)節(jié)預(yù)測,通過引導(dǎo)流機制,進行語義引導(dǎo)下的高分辨率細(xì)節(jié)預(yù)測,進而實現(xiàn)Trimap-free高精度圖像摳圖。
圖7 PP-Matting原理示意圖
正是由于這一系列的設(shè)計,最終讓PP-Mattig在不依靠其他輸入的情況下,依舊獲得了更高精度的預(yù)測結(jié)果。
歡迎感興趣的小伙伴們
一起體驗Matting的技術(shù)魅力
圖像集引用說明:
圖1、圖2源于公開數(shù)據(jù)集:Distinctions-646
圖4源于免費版權(quán)圖片庫https://www.pexels.com/zh-cn/
關(guān)注【】公眾號
獲取更多技術(shù)內(nèi)容~
總結(jié)
以上是生活随笔為你收集整理的SOTA级发丝抠图模型PP-Matting开源,支持多场景精细化分割的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 怎样办理微信公众平台迁移公证?
- 下一篇: gtsam 学习十(ISAM2 理论)