Visa：AI 模型在購物決策測試中近半數失敗

Visa 的 Agentic Commerce Benchmark 旨在評估來自 12 個實驗室的 AI 模型在 15 個購物場景中的表現，結果發現 22 個受測模型的平均合格率為 57.2%。這些測試評估了 AI 透過對話識別客戶需求、為電視和手提電腦等商品做出合適購買決策的能力，以及關鍵地，在沒有合適產品時避免購買的能力。個別模型的表現差異顯著，從 28.9% 到 82.2% 不等。

一個主要發現是，超過一半（54%）的失敗嘗試仍然導致了購買。這發生在 AI 選擇了不符合已識別要求的產品，或者未能發現客戶的所有需求。那些表現出更大能力識別更多隱藏客戶需求的模型通常表現更好，平均合格率為 70.2%，而識別最少需求的模型則為 44.4%。

一致性被證明是一個重大挑戰，在給定場景的三次嘗試中，只有 34.2% 的模型-場景組合成功。雖然成本較高的模型顯示出更好的平均表現，通過了 67.1% 的嘗試，而最便宜的模型為 50.2%，但總體結果表明，目前的 AI 模型在細緻的零售決策中並不總是一致可靠的。Visa 計劃擴展該基準測試，以包括更多產品類別、結帳和支付，並將研究公開，以提升行業標準。