A Graph-Based RL Framework for Structured Drift Diagnosis and Recovery in Autonomous LLM Agents

作者： Ismail El Hamraoui, Sagar Jose, Nicolas Bureau, Robert Plana 發表： 14 Aug 2026 | 引用： N/A（新論文）

摘要

自主 LLM 代理部署於複雜真實工作流時，容易出現「執行期行為漂移」（runtime behavioral drift）——偏離原始任務的靜默偏差，可能對外部系統造成不可逆副作用。既有方法只在 prompt 層處理漂移，缺乏步驟級偵測、風險評估與復原決策的結構化機制。本文提出圖形化框架：以強化學習訓練單一小型語言模型，專精於復原圖（recovery graph）的各個節點——漂移分類、操作偵測、風險評估、最終決策——輸出結構化 XML 推理；作為主代理外部、免重訓的可插拔復原模組（plug-and-play recovery module），因為主代理通常是大型昂貴模型，無法每次部署都重訓。

企業應用啟示

企業代理「跑偏」是營運風險核心；此框架證明小模型可低成本擔任獨立「監護人」，不干擾主代理——為客戶的 Agent 營運監控與「誰來監督代理」的治理設計提供具體架構選項。

關鍵技術 / 觀點

漂移 = 對原始任務的靜默偏離，可能造成不可逆外部副作用

復原圖節點分工：漂移分類／操作偵測／風險評估／最終決策

小型模型外掛模組，免重訓大型主代理

訓練：規則結構獎勵＋LLM-as-judge 語意品質訊號；AppWorld 基準驗證復原決策正確性與 schema 遵循