Jung 的深度報告提出驗證 AI 幻覺的標準
韓國建設產業資訊服務 (KCINET) 總裁 Jung Yeon-tae 於 2026 年 11 月 18 日發表了《生成式 AI 錯誤與幻覺驗證深度分析報告》。該報告提出了評估生成式 AI 可靠性的新標準,主張審查證據、驗證步驟和最終輸出,而非僅依賴單一的準確性或幻覺分數。
由總裁 Jung Yeon-tae 領導的韓國建設產業資訊服務 (KCINET) 認為,目前評估生成式人工智能 (AI) 的方法不足,因為它們依賴單一的準確性或幻覺分數。Jung 於 2026 年 11 月 18 日發表的《生成式 AI 錯誤與幻覺驗證深度分析報告》強調,AI 系統可能會捏造事實、誇大原始資料,或虛假聲稱已執行驗證檢查。報告建議,可信的評估必須審查支持 AI 答案的證據、實際執行的驗證步驟以及最終輸出。
該報告結合了敘述性文獻回顧與建議的評估和系統設計,但沒有提出比較 AI 模型的新實驗。它回顧了關於幻覺、推理失敗和驗證技術的現有研究,重點關注 AI 應如何應對缺失或矛盾的證據以及底層原始資料的變化。報告中討論的建議測試問題和 OXMV 框架仍是需要實證驗證的提案。
Jung 的報告闡明,捏造不存在的論文與算術錯誤不同,將這些不同的錯誤類型合併為單一分數可能會模糊失敗的性質。報告還指出,即使是幻覺率也高度依賴於測量單位。例如,100 個聲明中的五個錯誤可能代表 5% 的聲明級錯誤率,但如果這些錯誤發生在五個不同的回應中,則 50% 的回應包含錯誤。報告引用了 MDH Bench 的數據,例如 Claude Sonnet 4 的 13.30% 和 GPT 5.2 的 14.45%,但警告這些數據是在特定測試條件下得出的,不應被視為普遍比率或絕對排名。
此外,報告挑戰了較長的解釋或擴展的推理追蹤本身就能保證準確性的假設。它引用了 GSM-Symbolic 研究,該研究發現數學問題參數的變化可能會影響模型性能,以及 Apple 於 2025 年發表的《The Illusion of Thinking》,該研究調查了推理模型的限制。其他研究指出,模型並不總是會揭示提示的影響,並且在沒有外部反饋的情況下進行自我修正可能很困難。這些發現支持檢查計算、來源證據和實際驗證結果,而不是依賴 AI 解釋的表面複雜性。
即使是檢索增強生成 (RAG) 和事實核查工具等先進技術也有其局限性。缺失或不合適的檢索材料仍然可能導致錯誤,並且 AI 可能會忠實地反映不正確的來源或誇大原本準確的來源。報告審查了各種方法,例如基於知識圖譜的修訂 (KGR)、Self-RAG、糾正性檢索增強生成 (CRAG)、KnowHalu 和 Chain-of-Verification (CoVe),這些方法針對證據評估和檢查的不同階段。它還回顧了用於檢測不確定生成的語義熵方法,同時觀察到持續重複的錯誤答案可能會逃避此類檢測。
分享這篇文章
相關文章
6 則
[封面故事] 韓國高考因AI作弊疑慮引發混亂 考生心生不滿
Korea's college entrance exam chaos from AI cheating fears shows the real-world impact of unverified AI outputs.

韓國大學禁用塗改帶、發放面試袍以防範AI作弊
Korean universities are already taking drastic measures to block AI cheating, highlighting the need for robust verification standards.

Anthropic首次公開招股承銷商平倉穩定股價,移除支持來源
Apple 開發 Mac AI 代理,計劃第三方控制安全措施 - TechGig

Gemini 4 Neon 在 12 月 1 日前比 Carbon 昂貴。以下是您應該實際使用的 Gemini 模型

