文 | 土豆@知乎

本文已獲作者授權(quán)，禁止二次轉(zhuǎn)載

---

前言

在深度學(xué)習(xí)中，經(jīng)常會(huì)存在需要特征融合的地方[1]，而最基本的融合方法無非是：(1) 按點(diǎn)逐位相加(point-wise addition) 和 (2) 進(jìn)行向量拼接(concatenate)。這兩種方式有著異同，也有著關(guān)聯(lián)，接下來進(jìn)行簡單討論。

Point-wise addition

逐個(gè)位相加，用數(shù)學(xué)表達(dá)為: 現(xiàn)有特征向量 , ，為了融合這兩個(gè)特征向量，直接進(jìn)行對應(yīng)元素的相加，既是

進(jìn)行這個(gè)操作的前提當(dāng)然是這兩個(gè)向量的維度是相同的，如果是不同維度，則可以通過線性變換 轉(zhuǎn)換成同維向量，其中 。

Concatenate

向量拼接，則是一個(gè)更為通用的特征融合方法，數(shù)學(xué)表達(dá)為：現(xiàn)有特征向量, ，將其在同一個(gè)階[2]的進(jìn)行拼接，有融合特征向量。拼接完后，經(jīng)?？梢杂镁€性映射，轉(zhuǎn)換成，進(jìn)行這一步的操作目的是能夠和前者point-wise addition的進(jìn)行同維度的比較。

兩者關(guān)聯(lián)與異同

前面介紹的兩種操作，其實(shí)是有聯(lián)系的，結(jié)論先拋出了，就是：point-wise addition 是 concatenate的特殊形式，前者可以用學(xué)習(xí)的方式，用后者表示出來，用另一種說法就是，point-wise addition 是 concatenate加了一定先驗(yàn)假設(shè)的結(jié)果。為什么這樣說呢？我們先觀察一種情況：

比較兩種特征融合的方式，并且進(jìn)行線性映射后的結(jié)果，有:

• Addition:

  其中每一個(gè)可以表達(dá)成：

  ，用矩陣形式表達(dá)就是:

舉個(gè)具體的例子，, 那么最后結(jié)果容易算出是。

• Concatenate:

  還是用矩陣的形式對其進(jìn)行表達(dá)，不過這個(gè)時(shí)候我們的，可以發(fā)現(xiàn)這個(gè)情況下參數(shù)量比上者多得多。

這個(gè)時(shí)候我們可以發(fā)現(xiàn)，通過學(xué)習(xí)過程中的自動(dòng)參數(shù)調(diào)整，在concatenate的情況下，總是有辦法表達(dá)成Addition中的結(jié)果的，原因就是可以通過設(shè)置Concatenate情形下的的某些值相同，還是舉原來的具體例子說明：

,此時(shí)只需要，就可以表達(dá)成和Addition完全一樣的結(jié)果，讀者可以自行驗(yàn)證。

就結(jié)論而言，因?yàn)镃oncatenate情況下參數(shù)量完全足以cover住Addition的，因此通過學(xué)習(xí)過程，完全是可以進(jìn)行表達(dá)的，因此后者是前者的特殊形式，是添加了先驗(yàn)知識的特征融合方法。

那么，這個(gè)先驗(yàn)知識是什么呢？筆者認(rèn)為因?yàn)锳ddition是在相同維度的特征空間中進(jìn)行的，相加代表特征向量的平移，因此這個(gè)先驗(yàn)知識可能是假設(shè)這兩類特征具有相似性，比如模態(tài)比較接近，性質(zhì)比較相同的特征。當(dāng)然這個(gè)只是筆者猜測，并無文獻(xiàn)參考，歡迎各位斧正，謝謝。

有朋友問：

“point-wise addition 是 concatenate的特殊形式”的結(jié)果似乎只在均將融合后的特征線性映射成標(biāo)量后才成立，但是這兩種融合方法之后不一定要經(jīng)過這種處理吧？而且，這種線性映射會(huì)減少大量信息，似乎不甚合理？

我覺得這個(gè)問題其實(shí)是不成立的，因?yàn)樵睦锩媾e的例子是映射成為標(biāo)量只是為了舉例方便而已，實(shí)際上，映射成其他高維矢量也是沒問題的，比如說：在Pointwise addition的情況，那么假設(shè)其，我們有:

在concatenate的情況中，我們有：

那么如果需要退化到addition的情況的話，我們的可以為：

因?yàn)槲覀冇邪藗€(gè)未知量，而只有兩個(gè)方程，因此這是個(gè)病態(tài)問題，其實(shí)我們有多組解的，不管怎么樣，我們總是可以用concatenate去退化到addition的情況的，不管是映射到標(biāo)量還是矢量。

后臺(tái)回復(fù)關(guān)鍵詞【入群】

加入賣萌屋NLP/IR/Rec與求職討論群

后臺(tái)回復(fù)關(guān)鍵詞【頂會(huì)】

獲取ACL、CIKM等各大頂會(huì)論文集！

?

[1] Li K, Zou C, Bu S, et al. Multi-modal feature fusion for geographic image annotation[J]. Pattern Recognition, 2018, 73: 1-14.

[2] https://blog.csdn.net/dcrmg/article/details/
79017146

總結(jié)

以上是生活随笔為你收集整理的如何融合深度学习特征向量？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。