第一種，混合量化--僅量化權重

該方式將浮點型的權重量化為int8整型，可將模型大小直接減少75%、提升推理速度最大3倍。該方式在推理的過程中，需要將int8量化值反量化為浮點型后再進行計算，如果某些Ops不支持int8整型量化，那么其保存的權重依然是浮點型的，即部分支持int8量化的Ops其權重保存為int8整型且存在quantize和dequantize操作，否則依然是浮點型的，因而稱該方式為混合量化。該方式可達到近乎全整型量化的效果，但存在quantize和dequantize操作其速度依然不夠理想

?

第二種，全整型量化--權重和激活值都進行量化

該方式則試圖將權重、激活值及輸入值均全部做int8量化，并且將所有模型運算操作置于int8下進行執行，以達到最好的量化效果。為了達到此目的，我們需要一個具有代表性的小數據集，用于統計激活值和輸入值等的浮點型范圍，以便進行精準量化。

全整型量化的輸入輸出依然是浮點型的，但如果某些Ops未實現該方法，則轉化是沒問題的且其依然會自動保存為浮點型

總結

以上是生活随笔為你收集整理的tensorflow量化策略详解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。