AI 新聞·2026年11月15日·來源: Dev Community

    無步數限制的 AI 代理程式在上下文視窗滿載時停止。在 GPT-5.6 上,單次執行費用為 160 美元。

    即使每個 token 的定價保持不變,無步數限制運行的 AI 代理程式循環的成本,可能會隨著大型語言模型上下文視窗的擴大而急劇上升。根據 2026 年 11 月 15 日發布的分析,在 GPT-5.6 上模擬一個具有 400K token 視窗的失控代理程式運行,成本約為 160 美元。

    AI 代理程式循環旨在透過與語言模型迭代互動來執行任務,通常在每次請求時發送完整的互動歷史記錄。如果此類代理程式未能按預期終止,它最終會在其累積的歷史記錄超出模型的上下文視窗(即請求可容納的最大 token 數)時停止。這種不受控制的執行可能導致巨大的、不可預見的成本。

    分析顯示,這些「失控」循環的總成本隨著上下文視窗的大小不成比例地增加。由於每個步驟都會重新發送整個不斷增長的歷史記錄,因此在不受控制的運行期間發送的總輸入 token 數會隨著步數的平方而增加。例如,將模型的上下文視窗從 200K 增加到 400K token,觀察到失控運行的成本翻了四倍,而將視窗擴大 2.5 倍(200K 到 1M token)則導致成本增加了 6.2 倍,達到 1,000 美元以上。

    這表明,上下文視窗大小的增強(通常被視為有益的模型升級)也顯著增加了未受管理的代理程式行為的財務風險。這些數字基於截至 2026 年 11 月 12 日的定價,不包括提示快取或折扣,並假設循環在視窗滿載時終止。然而,分析指出,一些代理程式框架會總結歷史記錄以繼續超出視窗限制,這將抵消這種自然的成本上限,並允許成本無限增長。

    為了降低這種風險,開發人員可以實施「步數上限」或「金額上限」,在代理程式循環消耗過多資源之前停止它們。例如,GPT-5.6 上的 1 美元上限將在大約 28 個步驟後停止循環,防止其達到 160 美元的數字。雖然此類上限可能會中斷合法的長時間運行任務,但根據成功運行的典型長度調整限制有助於管理成本,而不會扼殺必要的工作。

    分享這篇文章

    延伸閱讀
    原文報道: Dev Community我們不轉載全文, 閱讀原文 →

    相關文章

    6 則