DrizzVision 的 AI 應用程式測試雄心與現實的碰撞

傳統的流動應用程式測試在使用者介面重新設計或元素重新命名時常常會失效，迫使開發人員花時間修復測試腳本。DrizzVision 的 Fathom 旨在透過使用視覺 AI 模型來解決這個問題，讓系統能夠解讀螢幕上的內容，即使元素發生變化或出現意外彈出視窗也能繼續測試。這種方法旨在減少自動化測試的脆弱性，該公司報告稱內部基準測試中的「測試不穩定性」有所下降。

然而，DrizzVision 自己的基準測試突顯了在不同條件下實現一致 AI 效能的挑戰。雖然 AI 代理程式在使用標準 Android 映像檔的「較簡單套件」中達到了 72.3% 的通過率，但在涉及已 Root 的 Android 映像檔、更複雜任務和資料庫檢查的「較困難套件」中，其效能急劇下降至 28.7%。這種大幅下降突顯了讓 AI 可靠地導航真實世界應用程式的難度。

基準測試還揭示了所測試的 AI 模型之間存在相當大的差異。例如，GPT 5.6 Luna 的通過率從較簡單套件中的 64% 下降到較困難套件中的僅 4%。相反，Gemini 3.5 Flash 在較簡單套件中獲得 54%，但在較困難套件中達到了 34%，超越了所有在那裡測試的 GPT 配置。這種差異表明，底層 AI 模型的選擇顯著影響效能，尤其是在測試場景變得更具挑戰性時。