These startups are chasing the next big thing in LLMs（這些新創正在追逐 LLM 的下一個大突破）

來源： MIT Technology Review（What's Next 系列） 原文日期： 2026-08-10

中文摘要

九年前 transformer 架構開啟了 LLM 時代，但如今 transformer 的瓶頸日益明顯：密集注意力（dense attention）的運算量隨上下文長度爆炸式成長（萬字文件需 5,000 萬次乘法），推理模型與長上下文需求讓問題惡化——OpenAI 今年預計花 500 億美元在算力上，IEA 預測資料中心用電 2030 年前倍增。一群新創正試圖取代或改造 transformer，MIT TR 稱下一代模型為「LLMs+」。四個方向：(1) 改造注意力——Subquadratic 的稀疏注意力模型 SubQ 號稱首度媲美主流 LLM，Manifest AI 的 power retention（滾動摘要取代完整上下文）；(2) 更小更彈性的模型——Liquid AI 的液態基礎模型（LFM，80% 液態神經網路 + 20% transformer，可在樹莓派上運行，已獲 Mercedes 採用）；(3) 一次生成全部文字——Inception 的擴散式 LLM（Mercury 2 宣稱比 GPT-4 級模型快 10 倍）；(4) 超越語言——Pathway 的 Dragon Hatchling 用 state space 取代注意力，在 25 萬題數獨基準上勝過 97% 題目，而多家頂尖實驗室的 LLM 一題都解不出。

關鍵洞察

⭐ Transformer 的「注意力瓶頸」是下一輪架構競賽的核心戰場：成本與能耗壓力（500 億美元算力、資料中心用電倍增）正在催生替代方案。

四條技術路線代表不同的信仰：改注意力（Subquadratic/Manifest）、混合架構（Liquid AI）、擴散式生成（Inception）、非語言推理（Pathway）——2026-2027 值得追蹤哪條路線先規模化。

「智慧/美元」（intelligence per dollar）成為新創的共同語言：效率敘事正在挑戰「越大越好」的規模敘事。

對企業的隱含意義：若任一替代架構成功，模型成本結構將再次重寫——採購策略不宜鎖死在單一架構上。

原文關鍵句（英文保留）

> "Transformers are an engineering convenience that we fell on... It started a religion, but it's silly to think that a breakthrough won't happen again."

對 CJ 哥的價值

技術趨勢掃描：讓客戶理解「LLM 成本下降」還有結構性空間（架構層面的突破），支撐 AI 投資的長期論述。

內容生產：可寫「後 Transformer 時代的四大路線」科普/分析文，對台灣企業讀者解釋架構競賽的商業意義。

顧問提醒：企業模型選型時應注意供應商對單一架構的依賴風險，並追蹤 Subquadratic、Liquid AI、Inception、Pathway 的進展。