ECCV 2020 已經(jīng)拉開帷幕！今天，小編要給大家分享的是來自三星團隊的 Oral Presentation：
標題： Post－Training Piecewise Linear Quantization for Deep Neural Network
作者：Jun Fang， Ali Shafiee， Hamzah Abdel－Aziz， David Thorsley， Georgios Georgiadis， Joseph Hassoun
近年來深度神經(jīng)網(wǎng)絡在很多的問題中，通過加大模型的深度、寬度或分辨度，取得了越來越高的精度。但與此同時也增加了模型的計算復雜度和內(nèi)存需求，從而導致在資源有限的嵌入式設備上來部署這些模型應用變得更加困難。
量化 （Quantization）是一種非常實際有用的壓縮和加速模型的方法。它通過轉換模型的 32 位浮點（FP32）weights和activations到低精度的整數(shù)（比如 INT8），從而通過整數(shù)運算來近似原始的浮點運算模型達到壓縮和加速的效果。
然而在具體的實際應用中，Post－Training Quantization 是非常重要的。因為它不需要重新訓練模型的參數(shù)，所以節(jié)省了非常耗費資源的調(diào)參過程；同時它也不需要訪問訓練數(shù)據(jù)，從而保護了數(shù)據(jù)的隱私性。在 Post－Training Quantization 的研究工作中，Uniform Quantization 是最受歡迎的方法。眾多研究表明，8－bit Uniform Quantization 就可以保持大部分的模型精度，但是如果降到 4－bit，精度會有非常顯著的損失。
此篇文章就是分析了 4－bit 精度損失的具體原因，并提出了他們的 Piecewise Linear Quantization（PWLQ）的方法來顯著的提高量化后模型的精度。如下圖所示，訓練完的模型的 weights 的分布并不是平均分布，而是近似于高斯分布：絕大多數(shù)的 weights 都集中于中心地帶，而少數(shù)的 weights 分散在稀疏的連邊上?？上攵?，Uniform Quantization 對于這種分布的近似殘差不是最優(yōu)的。而 PWLQ 把分布區(qū)間分為沒有重疊的 center 和 tail 兩部分，每部分分配相同的量化格點數(shù)。這樣一來會導致中間部分的近似精度提高，而兩邊的近似精度下降，但因為絕大部分的 weights 都分布在中間部分，所以整體的近似精度還是會得到提高。
接下來，問題的關鍵在于怎么找到最優(yōu)的區(qū)分點（breakpoint），PWLQ 是通過最小化這種分布的近似殘差來得以選取。文章提供了具體的理論證明和下圖的數(shù)值模擬：近似的殘差是關于區(qū)分點的凹函數(shù)（Convex Function），所以這個最優(yōu)區(qū)分點是唯一存在的。
為了加快 Inference，文中提供了找到區(qū)分點的 one－shot 的公式。在數(shù)值實驗中，如下圖的三種模型 Inception－v3，ResNet－50 和 MobileNet－v2 在 ImageNet 的結果上，PWLQ 比 Uniform Quantization 有著明顯的更高精度。尤其在 4－bit MobileNet－v2 的對比上，PWLQ 有高出 27．42％ 的精度，由此可見 PWLQ 有著更強大的 representational power。
同時文中也做出了 PWLQ 和其他 state－of－the－art 的方法對比。如下圖所示，在 4／8 的情況下，PWLQ 比 LBQ（ICCV 2019）和 ACIQ（NeurIPS 2019）分別取得 0．40％ 和 7．96％ 的更高精度；在 4／4 的情況下，PWLQ 獲得更高精度的優(yōu)勢更加顯著。與此同時，PWLQ 不僅在 classification 的任務中取得好結果，在 segmentation 和 detection 任務上也得到了相似的好結果。
最后讓筆者感到欣喜的是文中不僅僅有展示 PWLQ 取得更好精度的優(yōu)勢所在，同時也有真誠討論 PWLQ 的不足之處。比如，PWLQ 的具體硬件實現(xiàn)中會帶來一定的額外消耗，下圖是作者給出的關于硬件 Latency 和 Energy 的具體模擬參數(shù)來說明這些額外消耗是可以接受的。
（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。 ）
