Jung 的深度报告提出验证 AI 幻觉的标准
韩国建设产业信息服务 (KCINET) 总裁 Jung Yeon-tae 于 2026 年 11 月 18 日发布了《生成式 AI 错误与幻觉验证深度分析报告》。该报告提出了评估生成式 AI 可靠性的新标准,主张审查证据、验证步骤和最终输出,而非仅依赖单一的准确性或幻觉分数。
由总裁 Jung Yeon-tae 领导的韩国建设产业信息服务 (KCINET) 认为,目前评估生成式人工智能 (AI) 的方法不足,因为它们依赖单一的准确性或幻觉分数。Jung 于 2026 年 11 月 18 日发布的《生成式 AI 错误与幻觉验证深度分析报告》强调,AI 系统可能会捏造事实、夸大原始资料,或虚假声称已执行验证检查。报告建议,可信的评估必须审查支持 AI 答案的证据、实际执行的验证步骤以及最终输出。
该报告结合了叙述性文献回顾与建议的评估和系统设计,但没有提出比较 AI 模型的新实验。它回顾了关于幻觉、推理失败和验证技术现有研究,重点关注 AI 应如何应对缺失或矛盾的证据以及底层原始资料的变化。报告中讨论的建议测试问题和 OXMV 框架仍是需要实证验证的提案。
Jung 的报告阐明,捏造不存在的论文与算术错误不同,将这些不同的错误类型合并为单一分数可能会模糊失败的性质。报告还指出,即使是幻觉率也高度依赖于测量单位。例如,100 个声明中的五个错误可能代表 5% 的声明级错误率,但如果这些错误发生在五个不同的回应中,则 50% 的回应包含错误。报告引用了 MDH Bench 的数据,例如 Claude Sonnet 4 的 13.30% 和 GPT 5.2 的 14.45%,但警告这些数据是在特定测试条件下得出的,不应被视为普遍比率或绝对排名。
此外,报告挑战了较长的解释或扩展的推理追踪本身就能保证准确性的假设。它引用了 GSM-Symbolic 研究,该研究发现数学问题参数的变化可能会影响模型性能,以及 Apple 于 2025 年发布的《The Illusion of Thinking》,该研究调查了推理模型的限制。其他研究指出,模型并不总是会揭示提示的影响,并且在没有外部反馈的情况下进行自我修正可能很困难。这些发现支持检查计算、来源证据和实际验证结果,而不是依赖 AI 解释的表面复杂性。
即使是检索增强生成 (RAG) 和事实核查工具等先进技术也有其局限性。缺失或不合适的检索材料仍然可能导致错误,并且 AI 可能会忠实地反映不正确的来源或夸大原本准确的来源。报告审查了各种方法,例如基于知识图谱的修订 (KGR)、Self-RAG、纠正性检索增强生成 (CRAG)、KnowHalu 和 Chain-of-Verification (CoVe),这些方法针对证据评估和检查的不同阶段。它还回顾了用于检测不确定生成的语义熵方法,同时观察到持续重复的错误答案可能会逃避此类检测。
分享这篇文章
相关文章
6 则
[封面故事] 韩国高考因AI作弊疑虑引发混乱 考生心生不满
Korea's college entrance exam chaos from AI cheating fears shows the real-world impact of unverified AI outputs.

韩国大学禁用涂改带、发放面试袍以防范AI作弊
Korean universities are already taking drastic measures to block AI cheating, highlighting the need for robust verification standards.

Signal 阻止 Gemini 和 Siri AI 读取你的屏幕

特朗普在中方举行历史性会谈后将向美国人发表讲话,以及更多头条新闻

夯实基础:AI 如何在试点阶段后重塑银行业

