矩阵的秩最小化
為了求解問題
因?yàn)樗欠峭沟?#xff0c;我們求解一個(gè)它的近似算法
對(duì)于一個(gè)大的τ值,它可以用下列等式接近
其中第一項(xiàng)為核范式(奇異值的和),第二項(xiàng)為Frobenius范式。
Singular Value Thresholding (SVT) 奇異值閾值
* 奇異值收縮(singular value shrinkage)*
首先我們考慮一個(gè)秩為r非負(fù)的。
對(duì)于每個(gè)τ≥0 的奇異值上,使它們趨于零。這也是為什么我們將其成為奇異值收縮(singular value shrinkage)的原因。
* Singular Value Thresholding (SVT) 奇異值閾值*
又因?yàn)槠娈愔凳湛s(singular value shrinkage)是核范式的近似操作(具體證明見[3]),因此上式可以轉(zhuǎn)化為:
它的迭代方式為:
這個(gè)算法受到壓縮感知中迭代算法的啟發(fā),在迭代過程中對(duì)矩陣進(jìn)行SVD,然后將較小的奇異值設(shè)置為0,生成新的矩陣進(jìn)行迭代。該算法運(yùn)算速度快,對(duì)于高位低秩矩陣的恢復(fù)非常有效。
用拉格朗日乘子法解釋
原問題為:
其拉格朗日函數(shù)為:
強(qiáng)對(duì)偶成立,且拉格朗日函數(shù)的鞍點(diǎn)是原函數(shù)與對(duì)偶問題的最優(yōu)解,即
其迭代解為:
參考或延伸材料:
[1] 斯坦福SVT軟件
[2] Generalized Singular Value Thresholding
[3] A singular value thresholding algorithm for matrix completion
[4] Exact Matrix Completion via Convex Optimization轉(zhuǎn)載至:http://blog.csdn.net/shanglianlm/article/details/46009387
總結(jié)
- 上一篇: ObjC: 使用KVO
- 下一篇: Deep Learning 【Natur