结构化矩阵
十歲的小男孩
本文為終端移植的一個小章節。
Define:
如果一個m×n階矩陣只需要少于m×n個參數來描述,就是一個結構化矩陣(structured matrix)。
優點:
不僅能減少內存消耗,還能通過快速的矩陣-向量乘法和梯度計算顯著加快推理和訓練的速度。
缺點:
1.結構約束會導致精確度的損失,因為約束可能會給模型帶來偏差;
2.如何找到一個合適的結構矩陣是困難的;
3.沒有理論的方法來推導出來;
綜上:
因而該方法沒有廣泛推廣。
知識應該是開源的,歡迎斧正,929994365@qq.com
轉載于:https://www.cnblogs.com/missidiot/p/9915676.html
與50位技術專家面對面20年技術見證,附贈技術全景圖總結
- 上一篇: 弯头放样出图500的弯头
- 下一篇: fastjson 返回json字符串,J