韓國人工智能公司精簡模型,善用閒置 GPU
據報道,隨着生成式人工智能發展為自主代理和實體人工智能,推理成本不斷上升,韓國人工智能公司正將重心從原始模型智能轉向經濟效益。他們正採用「輕量化」技術,如剪枝、量化和圖優化,以減少記憶體和計算量,同時亦尋求提高 GPU 利用率,目前利用率徘徊在 30% 左右。
據報道,韓國人工智能公司正將人工智能市場的競爭基礎從模型有多智能轉變為其經濟效益有多高。這一轉變是由於生成式人工智能(曾專注於文本和問題)擴展到自主執行任務的人工智能代理和在現實世界中運作的實體人工智能,導致推理成本不斷上升。成本效益技術正成為企業盈利能力的關鍵因素。
提高人工智能模型效率的一個主要方法是「輕量化」,它減少了模型佔用的記憶體和所需的計算量,使其能夠在更少的計算資源上運行。SqueezeBits 的行政總裁 Kim Hyung-jun 解釋說,每次用戶存取服務時都會發生推理,導致計算資源和成本隨着用戶數量增加。對於模型龐大或計算量大的服務,例如圖像和影片生成,高效的模型操作直接影響服務成本和速度。
這種對輕量化的關注也反映了人工智能計算領域不斷變化的格局。根據全球會計和諮詢公司 Deloitte 的數據,三年前推理佔所有人工智能計算的三分之一,但預計今年將達到三分之二,超越訓練。這表明對在實際工作中應用人工智能的需求不斷增加,而不是主要用於開發。
廣泛使用的輕量化技術包括剪枝(剪除模型神經網絡中較不重要的連接)和量化(將數據從 32 位壓縮到 8 位或 4 位單元)。另一種技術是圖優化,它減少了計算過程中數據移動到高頻寬記憶體的頻率,並重新安排操作以加快處理速度。首爾大學教授 Yoo Seung-joo 指出,圖優化不會降低計算質量,而量化和剪枝在一定程度上會影響質量。他強調了保持在合理範圍內的重要性,以使任何差異都不明顯。
縮小模型並不會自動使其更快或更便宜;運行模型的硬件,例如圖形處理器(GPU),必須有效地處理改變後的計算。Kim Hyung-jun 表示,即使使用相同的 GPU,當產品或世代改變時,最佳設置也可能不同,因為硬件處理不同的操作和數據格式的方式獨特。GPU 效率被認為對於降低人工智能推理成本很重要,特別是考慮到目前利用率據報停滯在 30% 左右。
Nvidia 的工作負載分割工具 Multi-Instance GPU (MIG) 和 Multi-Process Service (MPS) 因其優化硬件性能的潛力而受到關注。然而,報告也指出,對於核心任務,當應用這些效率技術時,必須驗證準確性。






