llm-d 1.0 推进开放、具成本效益的生产规模 AI 推理 | AAP

llm-d 1.0 解决的核心挑战是在生产环境中运行 AI 模型的操作难度和费用，特别是随着代理式 AI 工作负载的兴起。这些工作负载的特点是持续的上下文访问、重用以及来自并行代理的不可预测的活动突发。管理上下文通常比生成最终输出消耗更多资源，因此高效的资源利用对于实现 AI 投资回报至关重要。

llm-d 1.0 引入了旨在为第二天运营带来先进性能的功能。这包括服务多个租户、平衡相互竞争的优先级、提供零停机功能，以及在共同设计的组件套件中支持新兴的代理式工作负载。这些功能旨在让组织能够支持多样化的 AI 工作负载，从对延迟敏感的用户交互到大规模自主代理工作流程，而不会牺牲响应能力以换取效率。

该项目的影响通过早期用例得到证明。例如，据报道，IBM Research 使用开放前沿模型和 llm-d，在量子纠错硬件上实现了比全专有设置低 11.5 倍的推理成本。这归因于约 98% 的高前缀缓存命中率和约每百万个 token 0.11 美元的混合服务成本。另一个演示展示了 llm-d 在现有 NVIDIA GPU 上为代理式工作负载高效服务大型专家混合模型的能力，这表明企业可以利用现有硬件实现前沿级 AI。