llm-d 1.0 推進開放、具成本效益的生產規模 AI 推理 | AAP

llm-d 1.0 解決的核心挑戰是在生產環境中運行 AI 模型的操作難度和費用，特別是隨著代理式 AI 工作負載的興起。這些工作負載的特點是持續的上下文存取、重用以及來自並行代理的不可預測的活動突發。管理上下文通常比生成最終輸出消耗更多資源，因此高效的資源利用對於實現 AI 投資回報至關重要。

llm-d 1.0 引入了旨在為第二天運營帶來先進性能的功能。這包括服務多個租戶、平衡相互競爭的優先級、提供零停機功能，以及在共同設計的組件套件中支援新興的代理式工作負載。這些功能旨在讓組織能夠支援多樣化的 AI 工作負載，從對延遲敏感的用戶互動到大規模自主代理工作流程，而不會犧牲響應能力以換取效率。

該項目的影響通過早期用例得到證明。例如，據報導，IBM Research 使用開放前沿模型和 llm-d，在量子糾錯硬件上實現了比全專有設置低 11.5 倍的推理成本。這歸因於約 98% 的高前綴緩存命中率和約每百萬個 token 0.11 美元的混合服務成本。另一個演示展示了 llm-d 在現有 NVIDIA GPU 上為代理式工作負載高效服務大型專家混合模型的能力，這表明企業可以利用現有硬件實現前沿級 AI。