Visa：AI 模型在购物决策测试中近半数失败

Visa 的 Agentic Commerce Benchmark 旨在评估来自 12 个实验室的 AI 模型在 15 个购物场景中的表现，结果发现 22 个受测模型的平均通过率为 57.2%。这些测试评估了 AI 通过对话识别客户需求、为电视和笔记本电脑等商品做出合适购买决策的能力，以及关键地，在没有合适产品时避免购买的能力。单个模型的表现差异显著，从 28.9% 到 82.2% 不等。

一个主要发现是，超过一半（54%）的失败尝试仍然导致了购买。这发生在 AI 选择了不符合已识别要求的商品，或者未能发现客户的所有需求。那些表现出更大能力识别更多隐藏客户需求的模型通常表现更好，平均通过率为 70.2%，而识别最少需求的模型则为 44.4%。

一致性被证明是一个重大挑战，在给定场景的三次尝试中，只有 34.2% 的模型-场景组合成功。虽然成本较高的模型显示出更好的平均表现，通过了 67.1% 的尝试，而最便宜的模型为 50.2%，但总体结果表明，目前的 AI 模型在细致的零售决策中并不总是一致可靠的。Visa 计划扩展该基准测试，以包括更多产品类别、结账和支付，并将研究公开，以提升行业标准。