An End-to-End Agent Auditing Engine

作者： Haoning Wang, Mingxun Zhang, Chenyue Yu, Yingjun Shang, Xia Hu, Guanchu Wang, Na Zou 發表： 07 Aug 2026 | 引用： N/A（新論文，Semantic Scholar 尚未索引）

摘要

Agent 框架（harness）生態快速演化，但缺乏系統性的端到端能力評測管線。本文提出 A²E（Agent Auditing Engine），透過 Agent Task Protocol（ATP）快速整合不同 harness 的評測任務，以自動插樁的 Monitor 捕捉標準化執行軌跡，再用多維度指標（執行效率、工具使用、任務規劃、錯誤恢復）取代只看正確率的評估。實驗發現：模型×harness 組合在不同任務上表現差異極大，沒有任何單一組合全面勝出，證明系統化評測與模型/harness 共演化（co-evolution）的必要性。

企業應用啟示

對 CJ 哥的顧問價值高——企業導入 Agent 平台時「選哪個框架、怎麼驗收」是常見決策痛點，A²E 提供「軌跡級、多維度、可插拔」的評測思路，可直接轉化為客戶 Agent 選型與驗收機制的設計藍圖。

關鍵技術 / 觀點

Agent Task Protocol（ATP）：讓評測任務可跨 harness 快速移植，降低評估管線建置成本

自動插樁 Monitor：執行過程自動產出標準化軌跡，支援事後稽核與除錯

多維度指標優於正確率：執行效率、工具使用、任務規劃、錯誤恢復分開衡量

管理意涵：模型與 harness 需「共演化」——沒有萬能組合，企業應依任務型態建立評測矩陣，而非迷信單一框架