A fundamental flaw leaves LLMs strikingly vulnerable to attack（根本性缺陷使 LLM 對攻擊異常脆弱）

來源： MIT Technology Review（作者 Will Douglas Heaven） 原文日期： 2026-07-30

中文摘要

一篇發表於 ICML 的論文主張：由於運作方式的根本性缺陷，LLM 不可能被完全防護——模型其實是透過「文字的風格與內容」而非 role tags 來判斷指令來自誰。研究者的「chain-of-thought forgery（思維鏈偽造）」攻擊能讓 GPT-5、gpt-oss-20b 等吐出被訓練禁止的內容（例如合成古柯鹼的方法、破壞民航機導航系統的方法）；作者表示在 Anthropic、Alibaba、DeepSeek 的模型上也觀察到類似結果。關鍵實驗發現：把 <think> 標籤換成 <user> 標籤幾乎不影響模型對文字的判斷——只要文字看起來像模型自己的思維鏈，模型就會照單全收。由於角色追蹤是 LLM 訓練抵抗攻擊的基礎，這意味著問題「有真實機率是根本無解的」。作者對企業的建議很直接：不要信任 LLM，並假設 agent 做的任何事情都可能不安全。

關鍵洞察

LLM 無法可靠追蹤「指令來源」：模型看到的只是「一大張 token 紙」（one big sheet of tokens），靠風格猜測角色——這是結構性缺陷，不是補丁能修好的

CoT forgery 攻擊原理：偽造 <think> 風格的文字，讓模型以為指令是自己想出來的，從而繞過安全政策

換標籤無效：swapping tags 幾乎不改變模型解讀 → 對抗性訓練（red-teaming 後再訓練）只能治標

即使 GPT-5.4（2026 年 3 月發布）仍可被誘導輸出有害內容；作者警告「有巨大經濟誘因驅使 jailbreak 與 prompt injection」

實務結論：「Organizations shouldn't trust LLMs」——部署在關鍵系統的 agent 都應假設可能不安全，需人在迴路與最小權限

原文關鍵句（英文保留）

> "There's a real probability that this is going to be a problem that's fundamentally unsolvable." > — Charles Ye, coauthor of the ICML paper

> "Organizations shouldn't trust LLMs, and they should expect that anything done by agents could be unsafe. That's not a great solution, but it just might be what we have to do."

> "It's just one big sheet of tokens."

對 CJ 哥的價值

企業 AI 治理與風險管理章節的權威引用來源：(1) 對正在導入 AI agent 的客戶，這是必須知道的風險提示——支持「人在迴路（human-in-the-loop）」與最小權限設計的論證；(2) 可轉化為「為什麼企業不該把關鍵決策全權交給 AI agent」的風險溝通素材；(3) 安全領域的 ICML 論文結論 + 頂級媒體報導的組合，適合寫入產業風險評估報告；(4) 與 Stratechery 報導的 Hugging Face 被自主 AI agent 入侵事件互相印證，構成完整的「agent 安全」敘事。