KAIST 將 AI 微調時間從 10 小時縮短至 3 小時

微調是使大型語言模型（LLM）適應編碼或醫學等專業應用程式的關鍵過程，涉及對相關材料進行額外訓練。此過程通常使用圖形處理器（GPU）來分割和並行處理訓練數據。然而，隨機分發數據可能導致效率低下，因為 GPU 可能會重複處理具有相似訓練效果的資訊，類似於冗餘學習。

KAIST 的 CluSTER 技術透過分析每條數據對訓練的影響，然後將相似數據分組來解決這個問題。從這些精選組中，數據被選擇性地選取並均勻分發到多個 GPU。這確保了每個 GPU 處理多樣化但非冗餘的訓練資訊集，從而優化學習過程。參數是 AI 模型在學習時調整的內部值，是其獲得知識的關鍵。

使用具有 70 億和 130 億參數的 LLM，並利用編碼和醫療數據集進行的實驗，證明了顯著的效率提升。即使僅使用約 31% 的總數據進行訓練，模型效能也大致保持不變。這使得訓練時間減少了多達 69.6%，有效地將 10 小時的過程縮短到約 3 小時。Lee Jae-gil 教授強調了在 AI 訓練效率中「智能選擇」數據的重要性。

KAIST 預計這項技術將幫助公司和研究機構減少與專業 AI 應用程式額外訓練相關的時間和 GPU 成本。儘管報告的結果基於特定的模型大小、領域和四個 GPU 環境，但該技術指出了一種更有效利用現有計算資源的方法，而不僅僅是擴展硬件。