優勢

減小模型尺寸（減少內存占用）：如8位整型量化可減少75%的模型大小，更小的模型大小意味著不需要更多的內存

加快推理速度：

1）8 位的訪問次數要比 32 位多，在讀取 8 位整數時只需要 32 位浮點數的 1/4 的內存帶寬，例如，在 32 位內存帶寬的情況下，8 位整數可以一次訪問 4 個，32 位浮點數只能 1 次訪問 1 個。而且使用 SIMD 指令(19.2節會加速介紹該指令集)，可以在一個時鐘周期里實現更多的計算。另一方面，8 位對嵌入式設備的利用更充分，因為很多嵌入式芯片都是 8 位、16 位的，如單片機、數字信號處理器(DSP 芯片)。

2）整型運算通常比浮點型運算更快。

降低設備功耗：內存耗用少了推理速度快了自然減少了設備功耗

支持定制處理器：硬件設計可結合8bit方案做優化，如npu，fpga等

?

缺點

模型量化增加了操作復雜度，在量化時需要做一些特殊的處理，否則精度損失更嚴重

模型量化會損失一定的精度，雖然在微調后可以減少精度損失，但推理精度確實下降

總結

以上是生活随笔為你收集整理的神经网络压缩之低比特量化的优劣分析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。