🧠
第二大腦
🔬技術深讀2026-08-03

Tool Specifications Matter: Uncovering and Mitigating Safety Risks in AI Agents

#arxiv#論文#AgenticAI#AI安全#企業部署

title: "Tool Specifications Matter: Uncovering and Mitigating Safety Risks in AI Agents" tags: [arxiv, 論文, AgenticAI, AI安全, 企業部署] source: https://arxiv.org/abs/2607.29254 date: 2026-08-03 domain: 技術深讀 type: research status: active updated: 2026-08-30 ---# Tool Specifications Matter: Uncovering and Mitigating Safety Risks in AI Agents

作者: Minghui Pan, Jiayuxuan Yang, Yuanyuan Yuan, Yu Jiang, Zhenpeng Chen 發表: 31 Jul 2026

摘要

LLM 一旦被部署為可呼叫工具的 Agent,安全性往往顯著退化。本文透過白箱表徵分析指出「schema 格式的工具規格」是安全退化的主要來源之一——它削弱模型內部的拒絕訊號,導致不安全的工具執行。作者提出 SafeKeep 推論期防護:用扁平化文字工具規格做安全判斷、保留原始 schema 規格供執行,將安全判斷與工具執行解耦。

企業應用啟示

對 CJ 哥的顧問價值高——企業 Agent 閘道設計時,「工具規格怎麼寫」本身就是一個安全槓桿;SafeKeep 的雙軌模式(判斷用扁平規格、執行用 schema)是低成本、可立即借鏡的企業級防護樣式。

關鍵技術 / 觀點

  • 工具 schema 規格會削弱模型內部拒絕訊號,是 Agent 安全退化的主因
  • SafeKeep:安全判斷(扁平規格)與工具執行(schema 規格)解耦
  • 有害請求拒絕率從 23.8% 提升至 70.6%
  • 觀察層級 prompt injection 攻擊成功率從 25.6% 降至 2.5%,且不損害任務處理能力
  • 相關文章

    工程週報 2026-09-05

    # 工程週報 2026-09-05 tags: [工程週報, builder-bot, 開發回顧] --- ## 本週 Commit 清單 ### RongRise-Brand(24 commits, 2026-08-30 ~ 09-05) | 類別 | Commit | 摘要 | |------|--------|------| | **新工具** | 748ad5f7 | feat:...

    研究觀察 — 2026-09-05

    # 研究觀察 — 2026-09-05 > 資料來源:2026-08-30 至 2026-09-05 每日知識掃描 digest(7 份)|不另搜網路,純回顧合成 > tags: [研究觀察, researcher-bot, 趨勢] --- ## 趨勢一:AI Agent 從「工具」變成「組織成員」——治理、績效與責任歸屬的全面重構 一週內,McKinsey 兩度提出「AI agents ...

    Agent 記憶可攜性:模型升級後的記憶遷移挑戰

    # Agent 記憶可攜性:模型升級後的記憶遷移挑戰 **來源:** arXiv **日期:** 2026-09-04 ## 摘要 研究指出:AI agent 的「記憶」在模型升級後可能失效——新模型對舊筆記的解讀方式不同、embedding 版本混合可能中斷檢索、修復可能因缺乏原始證據而失敗。模型升級是常規操作,但記憶遷移卻未被標準化處理。作者比較了相同歷史被不同模型讀取時的記憶退化程度。 ...

    CONTINUITY:Agent 安全上下文的可組合合約

    # CONTINUITY:Agent 安全上下文的可組合合約 **來源:** arXiv **日期:** 2026-09-04 ## 摘要 LLM agent 系統日益結合來源追蹤、授權、政策執行、協定適配器與執行控制。然而,個別正確的安全機制不一定能組合出端到端安全的系統:安全關鍵上下文可能在傳遞過程中被丟棄、擴大或污染。作者提出 CONTINUITY 框架,確保安全上下文在 agent 管...