Evaluating LLM Trade-offs for Enterprise Automation: Lessons from Workflow Generation in a Production Enterprise Platform

作者： Xavier Wrenn, Radoslav Raykov, Aleksandar Angelov, Hirokuni Kitahara, Yuji Watanabe, Anca Sailer 發表： 04 Aug 2026 | 引用： 0

摘要

企業合規管理（DORA、AI RMF、FedRAMP 等）需要快速適應變動的法規框架與緊湊的修補 SLA，傳統靜態編排器在混合雲環境中常失效。本文分享在生產企業平台上用六個 LLM 做 AI 驅動流程生成的實測教訓：以 29 個真實 IT 自動化情境、兩種生成管線架構、2,784 次運行評估。單體式流程生成結構成功率僅 31.5–82.8%；改為「分段式（piecewise）」管線（變數骨架 → 基礎區塊組裝 → 巢狀區塊生成）後，全模型提升到 74.1–97.8%。成本分析顯示分段式分解讓小模型（mistral-small 95.7% 成功率、每個流程 0.01 美元）達到生產可用，打破對昂貴前沿模型的依賴。

企業應用啟示

對 CJ 哥的顧問價值高——提供「生成式自動化落地」的罕見真實成本/延遲/成功率數據：中小企業不必追旗艦模型，管線設計（分解任務）比模型大小更重要，可直接用於客戶自動化 ROI 論證與模型選型建議。

關鍵技術 / 觀點

單體 vs 分段式生成：把流程建構分解為變數骨架、基礎區塊、巢狀區塊，結構成功率 31.5–82.8% → 74.1–97.8%

生產權衡：成本 0.008–0.20 美元/流程、延遲 <50 秒（互動可用）、模型選擇

小模型可達生產級：mistral-small 以 1/19 成本（vs mistral-medium-2505）取得 95.7% 成功率

關鍵區分：結構有效性（JSON 語法/UI 渲染）≠ 語意正確性（符合使用者意圖）——兩者須分開驗證