AI in RTC 创新挑战赛 | 超分辨率挑战开始了！
? ? ? ?
AI in RTC 創新挑戰賽——超分辨率挑戰開始了！
報名直達：https://challenge.rtcdeveloper.com/ai-in-rtc/
還未加入的小伙伴要抓緊啦！
比賽概況
超分辨率算法通常是應用于單幀圖片上的，將圖片分辨率成倍放大，并利用算法還原細節是主要目的。另一方面，超分算法也可以應用于實時視頻的后處理階段。在實時視頻上應用超分算法，通常會要面對難題主要是性能與質量之間的權衡，即如何在設備性能瓶頸之下保證圖像質量最優。
?
超分辨率算法挑戰分為兩個獨立的賽題：“超分辨率圖像質量挑戰”與“超分辨率算法性能挑戰”。開發者可以根據自身及團隊情況，選擇參加。
?
超分辨率圖像質量挑戰
?
在這個挑戰賽題中，我們會提供一個包含 100 張圖片的圖集。參賽者/團隊需要對 100 張圖片進行 4 倍超分辨率處理，然后線上提交處理后的圖片。
?
超分辨率算法性能挑戰
?
第二個挑戰賽題主要考驗參賽者/團隊的算法模型的性能。參賽者需要對單幀圖像做 2 倍的超分辨率處理，算法復雜度控制在 2GFLOPs 之內。最終參賽者/團隊在線上提交算法模型（PyTorch 1.0.0）。
獎項設置
?
每個賽題都將分別評比出一、二、三等獎。
?
一等獎（1 支隊伍）|? ￥60000 + 獲獎證書
?
二等獎（1 支隊伍）|? ￥30000 + 獲獎證書
?
三等獎（1 支隊伍）|? ￥10000 + 獲獎證書
賽程安排
?
大賽分為兩個階段：
?
第一階段線上比賽：
?
7月1日——比賽開放報名，公布驗證集
?
7月20日至8月1日——公布測試集（具體時間待定），參賽者需要按照賽題要求對測試集圖片做超分辨率處理，提交作品方案
?
9月30日——線上初賽結束后，前排隊伍提交代碼，大賽組織方進行反作弊審核，確定決賽晉級名單?
?
注：參賽隊伍應保障參賽代碼方案不外泄，否則大賽組織方有權拒絕隊伍參與評獎
?
第二階段線下路演與頒獎：
?
10月23日——在北京進行線下答辯（決賽地點等詳情另行通知）
?
10月24日——在北京進行頒獎
?
注：主辦方將為參與團隊（每隊兩人）安排并支付差旅、住宿
報名方式
?
超分辨率圖像質量挑戰：
http://tinyurl.com/y6jlbeuk
?
超分辨率算法性能挑戰：
http://tinyurl.com/y5mfa7uw
重點來了
競賽任務拆解
?
大賽分為兩個獨立賽題：超分辨率圖像質量挑戰、超分辨率算法性能挑戰。
?
先說第一個賽題。超分辨率圖像質量挑戰中，參賽者會收到 100 張圖片，各自將其通過超分處理，獲取 100 張高分辨率圖像。其實，就是對單張低分辨率圖像進行超分辨率處理，即Single Image Super-Resolution (SISR)，然后處理 100 張不同的圖片。評判會以 PI 和RMSE作為考察指標。
?
第二題。超分辨率算法性能優化，參賽者需要對圖像做2倍的超分辨率處理，算法復雜度控制在 2GFLOPs 之內，我們以 SRCNN 模型為 baseline, FLOPs 比 baseline 越小越好。比賽會采用 PSNR、SSIM 計算 RGB 通道，以及運行時間來綜合評估算法的性能。在這里我們限制了算法復雜度，對于所需的顯存空間并沒有限制。這道賽題希望參賽者訓練的模型可在移動設備端上運行，所以需要考慮移動設備運算能力的制約，在圖像質量和運算速度之間尋找 trade-off。
?
解題思路
?
任何一個低分辨率圖像，可能存在多個不同的高分辨率圖像，所以通常做超分處理時會加一個先驗信息進行規范化約束。通常來講，SISR 的方法有三類：基于插值、基于重建、基于學習。
?
目前在網絡上有不少基于CNN的超分研究，比如前不久Adobe 研究院與田納西大學的研究者公布了一種借助神經紋理遷移實現的圖像超分辨技術，還構建了一個用于訓練和評估超分辨率方法的基準數據集 [1]；再例如，ECCV 2018 明星模型 CARNM 等，參賽者們有不少可以借鑒的資料。
?
在這次競賽中，獨立賽題二“超分辨率性能質量挑戰”，是以 SRCNN 模型作為 baseline。SRCNN 是首個將 CNN 引入單幀圖像超分辨率的模型，它采用了雙三次插值作為預處理過程，該網絡結構十分簡單，僅僅用了三個卷積層。對低分辨率的圖像，使用 bicubic 差值，放大到目標的大小后（比如放大到兩倍、四倍）。放大后的圖像是模糊的。所以這時再通過三層卷積網絡做分線性映射，第一層卷積：卷積核尺寸 9×9(f1×f1)，卷積核數目 64(n1)，輸出 64 張特征圖；第二層卷積：卷積核尺寸 1×1(f2×f2)，卷積核數目 32(n2)，輸出 32 張特征圖；第三層卷積：卷積核尺寸 5×5(f3×f3)，卷積核數目 1(n3)，最后得出結果。在訓練 SRCNN 的時候，可以采用 MSE 函數作為卷積神經網絡損失函數。
?
隨著研究的深入，SRCNN 的作者還提出了 FSRCNN，其關鍵點就是加速。作者進行了很多改進，例如 FSRCNN 用了反卷積層（deconvolution layer）來改進 SRCNN 的冗余計算問題。FSRCNN 還縮小了卷積核的大小，增加了網絡的深度，使得計算量降低了。
?
目前還有很多可以參考的模型和資料。每年 NTIRE 競賽中，超分辨率都是賽題之一。NTIRE2017 超分辨率比賽的冠軍 EDSR [2] 就是一個很好的參考案例。EDSR 在性能提升方面，最重要的是去除掉了 SRResNet 多余的模塊，這讓模型的尺寸可以得到擴大，從而提升結果質量。它將 batch normalization 去除了，由于它消耗了與卷積層相同大小的內存，在去掉后，相同的計算資源下，EDSR 能堆疊更多的網絡層或讓每層提取更多特征，以達到更好的性能。
?
對于剛剛入門，正在研究超分辨率算法的參賽者來講，可以參考由 Yapeng Tian 整理的資料 [3]，里面整理近幾年來關于超分辨率的論文以及代碼。邊閱讀，邊看代碼，邊訓練模型，是上手超分最快的方式。
?
單幀圖像超分辨率看起來比視頻超分辨率簡單，但在實際構建超分模型過程中，仍存在許多挑戰，例如圖像配準、計算效率、穩健性、性能限制等。更好地解決這些問題，對于學術界的研究，以及在工業界的落地來講，都存在重要價值。這也是我們舉辦這次 AI in RTC 創新競賽的意義之一。
?
希望大家共同參與，快來報名吧！
?
參考鏈接
[1] SRNTT: Image Super-Resolution by Neural Texture Transfer https://github.com/ZZUTK/SRNTT
[2] NTIRE2017 Super-resolution Challenge: SNU_CVLab https://arxiv.org/abs/1707.02921
[3] https://github.com/YapengTian/Single-Image-Super-Resolution
?
現在，在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關注」訂閱我們的專欄吧
關于PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。
▽ 點擊 |?閱讀原文?| 立刻報名
總結
以上是生活随笔為你收集整理的AI in RTC 创新挑战赛 | 超分辨率挑战开始了！的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： ACL 2019开源论文 | 句对匹配任
- 下一篇： AI未来说 | 听大牛论自动驾驶领域干货