Spherical CNN

1、四個問題

要解決什么問題？

• 3D場景下旋轉不變性特征的提取。

用了什么方法解決？

• 提出了球形卷積操作，也叫作球形互相關（spherical cross-correlation）。球形卷積具有旋轉不變性。
• 為了增強計算效率，使用FFT（Fast Fourier Transform）來計算球形卷積。

效果如何？

• 在3D模型識別上效果還不錯，與其他深度神經網絡的模型相比準確率差一些，但是對旋轉變化的魯棒性更強。

還存在什么問題？

• 由于在球形卷積中使用了FFT和IFFT，在轉換過程中會損失一部分信息。
• 球形卷積僅針對的理想的3D物體做到了旋轉不變性，不存在背景或者其他噪聲的干擾，如果在存在多個3D物體的自然場景下，必須要先分割出3D物體再提取旋轉不變特征，流程過于繁瑣。

2、論文概述

1、簡介

• 一種比較常見的思路是，將球形曲面展開為一個2D平面，如圖1所示。從一個球面的信號到平面的映射過程中存在不規則的畸變。當圖1的左圖旋轉到右圖中的情況時，第一行表示球面上的情況，其實相當于在球面上平移；第二行表示從球面投影到平面的情況，不僅存在平移變化，還存在投影畸變。
• 上面這個簡單的例子說明了：球形曲面上的信號，不適合使用卷積（convolution）或互相關（cross-correlation）這類操作提取特征。盡管卷積這類操作具有平移不變性，但是球形曲面上還存在不規則的投影畸變。從不同旋轉狀態下的同一目標使用卷積提取到的特征不具備等效性（equivalence）。
• 因此作者想要提出一個網絡來解決這個問題，也就是本文中的Spherical CNN（$S^2$-CNN）。三維空間下的旋轉矩陣$R$可以用一個特殊正交群$SO(3)$來表示。Spherical CNN的目的是做到在$SO(3)$下的等效性。
• $SO(3)$互相關滿足傅里葉理論，即$SO(3)$傅里葉變換。因此使用廣義FFT算法來能高效地實現$SO(3)$傅里葉變換和$S^2$傅里葉變換。

2、貢獻

• 球面CNN理論。
• 提出了對于球面$S^2$和三維特殊正交群$SO(3)$的廣義傅里葉變換。
• 實驗驗證球面CNN對旋轉不變性的適用性。

3、球面和旋轉群的互相關

• 首先類比經典的平面互相關（$x\in {\mathbb{Z}}^2$），隨后再引出$S^2$和$SO(3)$互相關。
• 平面互相關（planar correlation）的理解：
  • 輸出的特征圖是按$x$平移時（$x\in {\mathbb{Z}}^2$）輸入的特征圖與濾波器的內積計算得到的結果。
• 類似的，球面互相關（spherical correlation）可以理解為：
  • 輸出的特征圖是按$R$旋轉時（$R\in SO(3)$）輸入的特征圖與濾波器的內積計算得到的結果。

4、球面CNN

• 球面單元：
  • $S^2$可以定義為一組單位球面上的點的幾何$x\in {\mathbb{R}}^3$，是一個三維流型，可以用球面坐標系來表示：$\alpha \in [0,2\pi ]$，$\beta \in [0,\pi ]$。
• 球面信號：
  • 使用連續函數$f:S^2\to {\mathbb{R}}^K$對球面圖像和濾波器進行建模，其中$K$是通道數。
• 旋轉：
  • 在三維空間中一組旋轉稱為$SO(3)$，也叫作“特殊正交群”，用一個$3\times 3$的矩陣表示旋轉。這個旋轉矩陣具有以下性質：$\Vert Rx\Vert =\Vert x\Vert$，$det(R)=+1$。
  • 如果用三維向量$x$來表示球面上的點，那么可以使用矩陣向量乘法$Rx$來表示旋轉。
  • 旋轉群$SO(3)$是一個三維流型，它也可以用$ZYZ$歐拉角進行參數化表示：$\alpha \in [0,2\pi ]$，$\beta \in [0,\pi ]$，$\gamma \in [0,2\pi ]$。
• 球面信號的旋轉：
  • 為了定義球面互相關，引入旋轉算子$L_R$，結合函數$f$，可以得到旋轉函數$L_{R}f$：$[L_{R}f](x)=f(R^{?1}x)$。
  • 我的理解是：$L_{R}f$是一個旋轉了$R$的特征圖，在其上$x$位置對應的特征是$[L_{R}f](x)$，換算回旋轉前的函數$f$的特征圖上，對應于$R^{?1}x$位置的特征。
  • 旋轉算子在$R$上是可逆的，即有：$L_{R{R}^{\prime }}=L_R{L}_{R^{\prime }}$。
• 內積：
  • 在球面信號矢量空間上的內積定義為：
  • $$?\psi ,f?={\int }_{S^2}\sum _{k=1}^K{\psi }_k(x)f_k(x)dx$$
  • 積分測度$dx$表示球面上的標準旋轉不變積分測度，可以由球面坐標$d\alpha \sin (\beta )d\beta /4\pi$表示。
  • 由于球面高度圖的體積不隨轉動變化，所以，可以具有對于任意的旋轉$R\in \mathrm{S}\mathrm{O}(3)$的不變性：${\int }_{S^2}f(Rx)dx={\int }_{S^2}f(x)dx$。
  • 注意到，$L_{R^{?1}}$與$L_R$伴隨，那么$L_R$是幺正（unary）的:
  • $\begin{array}{rl}?L_R\psi ,f?& ={\int }_{S^2}\sum _{k=1}^K{\psi }_k\left(R^{?1}x\right)f_k(x)dx\\ & ={\int }_{S^2}\sum _{k=1}^K{\psi }_k(x)f_k(Rx)dx\\ & =?\psi ,L_{R^{?1}}f?\end{array}$
• 球面相關性（spherical correlation）：
  • 對球形信號$f$和$\psi$，定義相關性為：
  • $[\psi ?f](R)=?L_R\psi ,f?={\int }_{S^2}{\sum }_{k=1}^K{\psi }_k\left(R^{?1}x\right)f_k(x)dx$
  • 輸入是$SO(3)$上的一個旋轉矩陣，$f$為輸入信號，$\psi$為濾波器，這個函數就是計算輸入信號與濾波器在旋轉為$R$時的相關性。
• $SO(3)$上信號的旋轉：
  • 對旋轉算子進行推廣，以便能對$SO(3)$上的信號起作用。
  • 對于$f:\mathrm{S}\mathrm{O}(3)\to {\mathbb{R}}^K$和$R,Q\in \mathrm{S}\mathrm{O}(3)$：$\left[L_{R}f\right](Q)=f\left(R^{?1}Q\right)$。
• 旋轉群相關：
  • 與前面類似，定義旋轉群上兩個信號$f,\psi :\mathrm{S}\mathrm{O}(3)\to {\mathbb{R}}^K$的相關性：
  • $$[\psi ?f](R)=?L_R\psi ,f?={\int }_{\mathrm{S}\mathrm{O}(3)}\sum _{k=1}^K{\psi }_k\left(R^{?1}Q\right)f_k(Q)dQ$$
  • 這里的$dQ$是$SO(3)$上的不變測度，可以用$ZYZ$歐拉角來表示：$d\alpha \sin (\beta )d\beta d\gamma /\left(8{\pi }^2\right)$。
• 等變性：
  • 等變性指的是，對于一些算子$T_R$，如果$\Phi °L_R=T_R°\Phi$，那么$\Phi$就是等變的。
  • $\left[\psi ?\left[L_{Q}f\right]\right](R)=?L_R\psi ,L_{Q}f?=?L_{Q^{?1}R}\psi ,f?=[\psi ?f]\left(Q^{?1}R\right)=\left[L_Q[\psi ?f]\right](R)$
  • 球面相關性和群相關性都是等變的。

5、使用G-FFT進行快速卷積

• 總所周知，快速傅里葉變換（FFT）可以高效地計算相關性和卷積。
• 由傅里葉定理給出：$f?\psi =\hat{f}?\hat{\psi }$。
• FFT的時間復雜度為$O(n\log n)$，而乘法算子具有線性復雜度，因此使用FFT實現的相關性比原始的相關性計算時間復雜度$O(n^2)$快的多。
• 對于球面和旋轉群上的函數，有一個類似的變換，把它稱作廣義傅里葉變換（GFT）和其對應的快速算法（GFFT）。論文中沒有做詳細描述，這里也不展開描述，詳細可以參考這篇文檔：SOFT: SO(3) Fourier Transforms。這篇論文中也是直接使用了他們推導好的數學公式。
• 用$X$表示$S^2$或$SO(3)$，再用$U^l$表示相應的基函數，在函數$f:X\to \mathbb{R}$，GFT可以寫為：
  • $${\hat{f}}^l={\int }_{X}f(x)\overline{U^l(x)}dx$$
  • 實際應用中使用GFFT可有效計算這個積分。
• $SO(3)$的逆變換定義為：
  • $$f(R)=\sum _{l=0}^b(2l+1)\sum _{m=?l}^l\sum _{n=?l}^l{\hat{f}}_{mn}^l{D}_{mn}^l(R)$$
  • $S^2$下的逆變換也依次類推。
  • 最大頻率$b$是帶寬，與網格的分辨率相關。
• 在頻域內實現球面互相關：
• 信號$f$與濾波器$\psi$經過傅里葉變換得到球形頻域上旋轉等變的頻譜，相乘隨后對各通道求和，最終做傅里葉逆變換轉換回空域。由于濾波器是局部的，所以使用矩陣乘法（DFT）會比FFT更快。

6、實驗

3、參考資料

Spherical CNNs(全文翻譯)

從群等變卷積網絡到球面卷積網絡

https://www.jiqizhixin.com/articles/spherical-cnns

SOFT: SO(3) Fourier Transforms

Spherical CNNs

總結

以上是生活随笔為你收集整理的论文笔记：Spherical CNN的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。