Moonshot AI 發佈 Kimi K3.1 Pro 模型權重

Moonshot AI 決定在 Hugging Face 上發佈其 Kimi K3.1 Pro 模型的權重，讓開發者能夠下載並在自己的伺服器上運行該模型。此舉將控制權從僅依賴 Moonshot AI 的託管應用程式或 API，轉變為為獨立用戶提供更大的自主權，讓他們可以在自己的基礎設施中整合、自訂和試驗該模型。

K3.1 Pro 模型採用專家混合架構，總參數達 2.8 萬億，但每次推理約激活 1040 億個參數。這種設計通常旨在在龐大的參數空間和操作期間的計算效率之間取得平衡。據報其一百萬個 token 的上下文窗口表明其能夠處理大量輸入，這對於複雜的應用程式（如金融研究、編碼、3D 創作和持續代理任務）非常有利，正如 Moonshot AI 所指出。

華為宣佈透過 vLLM Ascend 和 SGLang 支援 Kimi K3.1 Pro 的推理，特別是針對其 Atlas A3 和 Ascend 950 系統，這表明對於在該硬件上運行的用戶可能會有優化。此支援意味著使用華為 AI 計算基礎設施的開發者可能會發現獨立部署和運行 K3.1 Pro 更具可行性，這可能會降低整合如此規模模型的實際障礙。