(相關資料圖)

華泰證券研報表示，模型壓縮技術是實現AI大模型在邊/端部署的核心技術。當前，谷歌、微軟、騰訊等廠商在該領域均有布局，將加速AI技術與智能終端融合，國內SoC設計公司有望深度受益。模型壓縮技術可在保有大模型原有性能和精度基本不變前提下降低對推理算力的需求：1）量化：將浮點計算轉成低比特定點計算；2）網絡剪枝：去除神經網絡中冗余的通道、神經元節(jié)點等；3）知識蒸餾：將大模型作為教師模型，用其輸出訓練性能接近、結構更簡的學生模型。

關鍵詞：