AI 新闻·2026年11月15日·来源: Dev Community

    无步数限制的 AI 代理在上下文窗口满载时停止。在 GPT-5.6 上,单次运行费用为 160 美元。

    即使每个 token 的定价保持不变,无步数限制运行的 AI 代理循环的成本,可能会随着大型语言模型上下文窗口的扩大而急剧上升。根据 2026 年 11 月 15 日发布的分析,在 GPT-5.6 上模拟一个具有 400K token 窗口的失控代理运行,成本约为 160 美元。

    AI 代理循环旨在通过与语言模型迭代交互来执行任务,通常在每次请求时发送完整的交互历史记录。如果此类代理未能按预期终止,它最终会在其累积的历史记录超出模型的上下文窗口(即请求可容纳的最大 token 数)时停止。这种不受控制的执行可能导致巨大的、不可预见的成本。

    分析显示,这些“失控”循环的总成本随着上下文窗口的大小不成比例地增加。由于每个步骤都会重新发送整个不断增长的历史记录,因此在不受控制的运行期间发送的总输入 token 数会随着步数的平方而增加。例如,将模型的上下文窗口从 200K 增加到 400K token,观察到失控运行的成本翻了四倍,而将窗口扩大 2.5 倍(200K 到 1M token)则导致成本增加了 6.2 倍,达到 1,000 美元以上。

    这表明,上下文窗口大小的增强(通常被视为有益的模型升级)也显著增加了未受管理的代理行为的财务风险。这些数字基于截至 2026 年 11 月 12 日的定价,不包括提示缓存或折扣,并假设循环在窗口满载时终止。然而,分析指出,一些代理框架会总结历史记录以继续超出窗口限制,这将抵消这种自然的成本上限,并允许成本无限增长。

    为了降低这种风险,开发人员可以实施“步数上限”或“金额上限”,在代理循环消耗过多资源之前停止它们。例如,GPT-5.6 上的 1 美元上限将在大约 28 个步骤后停止循环,防止其达到 160 美元的数字。虽然此类上限可能会中断合法的长时间运行任务,但根据成功运行的典型长度调整限制有助于管理成本,而不会扼杀必要的工作。

    分享这篇文章

    深入了解
    原文报道: Dev Community我们不转载全文, 阅读原文 →

    相关文章

    6 则