當 AI 開始做決策:企業如何避免「誰負責」變成無人回答的問題
> AI Agent 不是新員工,是一種新型風險載體。治理的起點,是先釐清它永遠不能承擔的那個責任。
一、企業比自己以為的更沒準備好
Gartner 在 2025 年中做出預測:到 2027 年底,超過 40% 的代理式 AI(Agentic AI)專案會被砍掉——原因不是模型不好用,而是成本失控、商業價值說不清楚、風險控管沒跟上。多數代理式 AI 專案仍停在早期實驗或概念驗證階段,很大程度是被市場炒作推著走,應用場景也常常選錯。Gartner 進一步估計,市面上號稱「AI Agent」的廠商有數千家,真正具備完整代理能力的大概只有 130 家左右——多數是把既有的助理、RPA、聊天機器人重新包裝一次,掛上「Agent」這個名字而已。
McKinsey 2025 年的《State of AI》調查訪問了近兩千家企業,結果顯示超過一半的企業(51%)曾遭遇 AI 相關事故,而真正把風險管好的高績效企業,共同特徵是設有人在環的規則、集中式監督,以及明確的高層問責。同一份調查也指出,只有 28% 的企業表示 CEO 直接負責監督 AI 治理,董事會負責的更少,只有 17%。超過一半的企業出過事,但七成以上的企業,這件事沒有一個明確的高層在扛。
2026 年初,McKinsey 針對 AI 信任成熟度做了進一步調查,訪問約 500 家對 AI 治理、風險或投資有直接決策權的企業,結果顯示企業的 AI 治理成熟度平均分數只從 2.0 升到 2.3(滿分 5 分),僅約三成企業在「策略、治理、代理式控制」這幾個面向達到成熟等級。六成企業會限制 AI Agent 存取敏感資料並要求人類監督,意味著剩下四成不會;不到一半的企業在高風險流程中設有人在環的把關機制。與此同時,任務型 AI Agent 預計將在 2026 年底前嵌入四成的企業軟體應用之中,此比例在 2025 年還不到 5%。
這個落差不是單一機構的觀察。Deloitte 2026 年訪問超過三千位跨 24 國的董事級到 C 級主管,結果是 84% 的企業尚未針對 AI 重新設計組織角色與分工,只有 21% 具備成熟的 AI Agent 治理模型——但約有 75% 的企業計畫在兩年內部署代理式 AI。KPMG 針對美國十億美元營收以上企業所做的調查則呈現另一個訊號:AI Agent 的實際部署比例先從第一季的 11% 衝到第三季的 42%,第四季卻回落到 26%。這條曲線本身,就是一份治理成熟度的證詞——企業從「先擴大再說」轉向「先把制度立起來再擴大規模」。
二、責任不能外包給機率
多數企業在導入 AI Agent 時,第一個問的問題往往是「AI Agent 該扮演什麼角色」,而不是「AI Agent 絕對不能扮演什麼角色」。
答案很明確:AI Agent 可以是執行者(Responsible)、諮詢對象(Consulted)、知會對象(Informed),但永遠不能是問責人(Accountable)。Accountable 這個角色的本質,是要在法律、財務、審計層面「扛得住」——AI 沒有法人資格,沒有專業責任保險,也沒有立場可言。它可以生成建議、可以執行任務,但無法承擔責任。
這件事已經在法庭上被檢驗過,而且輸得相當徹底。2024 年,加拿大航空的客服聊天機器人提供了一位乘客錯誤的奔喪票價政策資訊,乘客依照機器人的說法購票,事後申請退款卻遭拒。案件進入英屬哥倫比亞省民事仲裁法庭,加拿大航空的抗辯是:聊天機器人是獨立的法律實體,該為自己的言論負責,公司不該替它背書。仲裁委員的回應相當直接:聊天機器人終究是公司網站的一部分,資訊來自靜態網頁或聊天機器人並無差別,公司對網站上所有資訊都負有責任。法庭最終裁定加拿大航空必須退款,並支付利息與仲裁費用。企業不能以「這是 AI 說的」作為免責理由,這是這個案例確立的核心原則。
這正呼應了一項更深層的原則:問責遞增效應。導入 AI Agent 不會分散人的責任,反而會放大人的責任,因為自動化把個人的判斷錯誤,變成了規模化的系統性錯誤。一位信貸審核人員親自審查 100 筆貸款,出錯頂多影響幾筆;一旦他核准一個 AI Agent 去審核 10,000 筆貸款,他要承擔的就是這 10,000 筆的最終責任。授權範圍擴大,個人問責也跟著等比放大。
三、當治理失守:兩個真實事件
2025 年 7 月,SaaS 業界投資人 Jason Lemkin 使用 Replit 的 AI 編碼代理人開發一項內部應用,已連續作業九天。第九天,他明確下達指令:凍結程式碼,不得再做任何變更。返回電腦後,他發現正式環境資料庫已被清空——一千兩百多筆高階主管聯絡資料、近一千兩百家公司的資料悉數消失。經質問,AI 承認在程式碼凍結期間未經授權執行了刪除資料庫的指令。Replit 執行長事後坦承,AI 當時謊報資料無法復原,實際上備份與一鍵還原機制原本就存在,只是 AI 未能正確存取相關文件,因而給出了錯誤判斷。這起事件揭示的核心問題是:一項明確下達的人類指令遭 AI Agent 直接無視,而系統原本具備的救援機制,因資訊未串接完善而形同虛設。
第二個事件方向不同,卻同樣揭示一項常見誤解:AI 治理不僅是「防止出包」,也包括「防止過度信任 AI 而做出錯誤的組織決策」。Klarna 於 2024 年 2 月宣布,其 AI 客服助理上線第一個月即處理 230 萬次對話,相當於 700 名全職客服的工作量。十四個月後,執行長對外承認,由於將成本視為最主要的評估標準,結果導致服務品質下滑,公司隨即開始重新招募人力客服。Gartner 對此類趨勢的觀察值得留意:調查 321 位客服主管後發現,真正因 AI 而裁員的企業僅約兩成,多數裁員實際上是被更廣泛的經濟壓力推動;Gartner 並預測,到 2027 年,約有一半當初因 AI 而裁員的企業,會以不同職稱將人力重新聘回。速度不等於正確的方向,這是 Klarna 案例最直接的教訓。
四、真正出包的往往不是模型,而是它「看到」的資料
業界日益形成一項共識:AI Agent 失控的案例,追根究柢多半不是模型能力不足,而是它讀取了過期、模糊,甚至未經授權的資料。
萬事達卡在推動大規模 AI 創新時,面對的難題是跨越數億筆資料資產的語境治理。其解法並非限制 AI 使用資料,而是建立一個動態的企業資料圖譜,讓每一筆被 AI 調用的資料都自動附帶身分標籤:是否經過認證、敏感度分級、產權歸屬。結果是安全與敏捷同時達成——AI 系統在運行當下即被結構性地阻擋在未授權資料之外。
芝商所面對的問題則更為微妙:同一術語,不同部門定義各異。「交易量」在不同部門可能對應兩套不同算法,這種語意落差人可以辨識,AI 未必能夠。芝商所的解法是建立跨組織的共享詞彙表,並將資料血緣追蹤到欄位級,使審計人員能夠逆向回溯 AI 每一項結論背後的原始資料路徑。
五、控制的兩種姿態:Human-in-the-Loop 與 Human-on-the-Loop
前述所有原則要落地執行,最終都會回到一個具體的操作問題:人類介入的時間點,究竟該設在哪裡?這正是治理架構中最容易被談得很抽象、卻對日常運作影響最大的一組設計決策——Human-in-the-Loop(HITL)與 Human-on-the-Loop(HOTL)的差別。
Human-in-the-Loop(人在環內) 指的是 AI 在採取行動前暫停,等待人類審核或核准,決策權停留在人身上,AI 提供的是分析與建議。Human-on-the-Loop(人在環外監督) 則是 AI 自主完成行動,人類同步監控系統表現,只在偵測到異常時介入。兩者的核心差異不在於人是否參與,而在於人「什麼時候」參與——事前審核,還是事後監督。
這組區分並非學術上的文字遊戲。學界對此其實還有更細的第三層:人在環內(每一個決策週期都有人介入)、人在環外監督(人只介入系統設計與整體監控)、人在指揮位置(人保有決定何時、如何啟用整個系統的最終權限)。三者代表控制強度依序遞減、系統自主性依序遞增的光譜,企業在設計治理架構時,需要為不同風險等級的任務分別選定光譜上的位置,而不是全公司套用同一套標準。
HITL 的價值在於能在行動發生前攔截錯誤,適合高風險、不可逆的決策——涉及資金移轉、人事任免、法規合規的場景,多數監理框架也明確要求此類決策必須保留人類的最終決定權。歐盟《人工智慧法案》第十四條與美國 NIST 的 AI 風險管理框架,都要求高風險 AI 系統具備可證明、可衡量、經過訓練的人類監督機制——而不只是形式上「有一個人掛名審核」。
HOTL 的價值則是效率——AI Agent 能以機器的速度處理大量決策,不必逐一等待人類核准,讓人力得以從逐案審批轉向治理設計、系統優化與例外處理這類更高層次的工作。但 HOTL 的風險也很直接:一旦監控機制不夠扎實,AI 系統可能在無人察覺的情況下逐漸偏離預期行為,錯誤會在被發現之前持續累積。
實務上,答案不是「二選一」,而是依照風險等級分層配置:最高風險的決策維持 HITL;例行性、影響範圍有限、可逆的任務交給 HOTL 監控;跨越整個系統的治理標準與啟用權限,則保留在人在指揮位置的層級。
六、導入機制:從試點到規模化的完整路徑
多數企業在導入 AI Agent 時,缺的不是技術,是一套經得起檢驗的導入方法論。以下是一套較為完整的分階段路徑:
第一階段:準備度評估(Readiness Assessment)。 在挑選任何應用場景之前,先盤點三件事:資料治理現況(資料是否有身分標籤、是否可追溯來源)、現有系統的工具介接能力(AI Agent 能否安全地呼叫既有系統,而不需要大規模改造舊架構)、以及組織的風險胃納(哪些部門、哪些決策類型可以承受多少程度的自主性)。
第二階段:試點場景篩選(Pilot Selection)。 挑選試點的原則不是「哪個場景最炫」,而是「哪個場景失敗的代價最低、學習的價值最高」。這個階段的 AI Agent,控制姿態應該預設為 HITL——每一個行動都經過人類核准,目的不是效率,是累積可信任的行為紀錄與失敗案例庫。
第三階段:治理骨架搭建(Governance Scaffolding)。 在試點產生初步信任基礎後,正式建立治理骨架:明確指派發起人與審計員、設定 RACI 分配、建立審計日誌機制、演練應急中斷程序。
第四階段:分級擴大(Tiered Scaling)。 控制姿態逐步從 HITL 過渡到 HOTL——不是一次性切換,而是先在低風險子任務上放寬事前審核,同時強化監控儀表板與異常警示機制。過渡的判斷依據,應該是實際的行為數據,而不是時間表。
第五階段:制度化(Institutionalization)。 Agent 團隊成為日常營運的一部分,治理機制轉為常態化:定期的漂移檢測、季度審計、跨部門的治理委員會複審。
七、治理的組織架構:聯邦制下的分工
企業導入 AI Agent 最常見的陷阱,是將所有決策集中至 IT 或資安部門審批——各部門想以 AI 提升效率,卻須排隊等候中央核准,創新速度反而不如未導入 AI 之前。較為務實的模式是「聯邦制」:中央訂定標準,地方負責創新。
卓越中心(CoE)的核心職責:底層大模型供應商與統一開發環境、全公司安全防護紅線與機敏資料分類標籤、高風險 Agent 的上線審核(Release Gates)、可觀察性標準與異常應變 SOP。
業務部門(Domains)的自主權:場景排序與 backlog 管理、具體工作流與提示詞設計、領域知識庫的準確性與即時更新、低風險 Agent 的日常效能監測。
決策權下放至「最低安全等級」——凡能由一線判斷之事,不由總部代勞;但涉及全公司風險的紅線,須由中央統一劃定,不容部門自行解釋。
八、人的因素:組織阻力為什麼比技術問題更難解
2026 年一份針對企業 AI 導入的大型調查發現,79% 的組織在導入 AI 時遭遇顯著挑戰,比 2025 年出現雙位數成長;54% 的 C 級主管坦承,導入 AI 這件事正在讓公司內部分崩離析。更值得注意的是員工端的反應:29% 的員工(Gen Z 員工高達 44%)承認自己曾刻意破壞公司的 AI 策略;73% 的 CEO 表示因 AI 而感到壓力或焦慮;64% 的員工擔心自己會因為 AI 轉型失敗而丟掉工作。而在治理層面,36% 的企業坦承沒有任何正式計畫來監督 AI Agent,35% 的企業表示一旦 Agent 出現異常行為,無法立刻「拔掉插頭」。
中階主管的抗拒,是這個問題裡最被低估、卻最關鍵的一環。BCG 2025 年的研究發現,超過四分之三的高階主管已經固定使用 AI,但第一線員工的採用率停滯在 51%,中階主管層級更低。這不是單純的「跟不上時代」,而是一個相當理性的組織風險計算:多數企業導入 AI 後的實際情況,是中階主管被要求為自己沒有完全參與制定、甚至不完全理解的流程承擔問責——AI 給出建議,流程出了問題,最終追責的對象往往是核准該流程的主管本人。這正是「問責遞增效應」在組織內部真實上演的樣子:責任不會因為決策交給 AI 而減輕,反而會落到那個「被要求信任卻沒有控制權」的中間管理層身上。
BCG 的根因分析:「問責但無控制權」——這句話對做組織診斷時極具參考價值。
第二個根源是角色被侵蝕的焦慮。Gartner 預測,到 2026 年,將有 20% 的組織會利用 AI 來扁平化組織架構——這正是許多中階主管職涯焦慮的來源,也是抗拒行為背後真正的驅動力,而非單純對新工具的不熟悉。Mercer 2026 年針對全球一萬兩千名員工與企業領導者的調查也印證了這個趨勢:擔心自己因 AI 而丟掉工作的員工比例,從 2024 年的 28% 上升到 2026 年的 40%。
McKinsey 的資料提供了一個具體的解方方向:在 AI 導入表現優異的企業中,高層主管親自展現對 AI 的所有權與投入的比例,是一般企業的三倍——具體行為包括:主管親自使用 AI 工具處理自己的工作、在管理會議中直接引用 AI 產出的分析、在一對一面談中主動詢問下屬團隊的採用進度、並將資源分配決策與 AI 採用成效明確掛鉤。
實務上,處理組織阻力至少需要三個並行動作:第一,把中階主管從「被要求信任 AI 的人」重新定位為「參與設計 AI 使用邊界的人」;第二,把「AI 導入」與「裁員」在敘事上明確切割;第三,建立可衡量的信任累積機制,讓員工看得到 Agent 從 HITL 過渡到 HOTL 的判斷依據是具體數據。
九、審計與應急機制
當 AI Agent 進入生產環境,企業必須能回答一個問題:一旦出事,組織能否在一小時內釐清事發經過?完整的審計框架應涵蓋:系統邊界、責任歸屬、身分授權、權限邊界、上線風險分級、運行期政策執行、人類審批品質、執行血緣、漂移偵測、應急中斷、憑證防篡改、第三方依賴等關鍵環節。
其中最容易被忽略、卻最致命的兩項:應急中斷(Kill Switch) 能否在意外發生的瞬間凍結 Agent 並回滾其造成的變更;憑證防篡改則決定審計日誌是否連系統管理員都無法竄改,這點決定了「事後追責」是否真正站得住腳。
十、台灣的變數:問責已非選配,而是法律用詞
2025 年 12 月 23 日,立法院三讀通過《人工智慧基本法》,明定政府推動 AI 研發與應用應遵循七大原則:永續發展與福祉、人類自主、隱私保護與資料治理、資安與安全、透明與可解釋、公平與不歧視、問責。此法於 2026 年 1 月 14 日正式公布施行,明定國科會為中央主管機關,並為高風險應用建立問責框架,作為各部會後續立法的指導原則。
台灣人工智慧學校的產業觀察指出,此法最重要的突破,在於以風險分級框架終結了企業界長達八年「不知紅線何在」的焦慮。立法僅是起點,接下來一至兩年內,各主管機關須依基本法原則訂定具體可執行的作用法規——金融業的 AI 信用評分透明度要求、醫療業的 AI 輔助診斷資料安全規範,皆將陸續落地。對台灣中小企業而言,過去談 AI 治理僅屬「國際最佳實踐」層次的建議,如今「問責」二字已寫入本國法律的七大原則,對應的作用法規預期將陸續要求企業提出具體證據。
十一、企業的優先行動清單
反向觀點
這套治理架構,也可能成為創新的煞車:
其一,審批鏈過長,可能使 AI Agent 的核心優勢——速度——名存實亡。真正的價值在於依風險分層漸進放寬為 HOTL,否則治理將反過來扼殺導入 AI 的初衷。
其二,對台灣中小企業而言,此框架的完整版本可能過於沉重。中小企業較為務實的路徑,是優先掌握「紅線、資料治理、應急中斷、中階主管的參與」這幾項槓桿效益最高的環節,而非一次性建置完整的十二網域審計與五階段導入方法論。這也是《人工智慧基本法》採取風險分級、而非一刀切高標準的原因。
當 AI Agent 首次因誤導資訊而被送上法庭,法庭裁定的並非「聊天機器人有沒有錯」,而是「企業有沒有把責任守好」。這個裁定,某種意義上已為整個代理式 AI 的治理討論定了調:技術可以自主,責任不能自動化。