The Inference Shift（推理的轉向）

來源： Stratechery (Ben Thompson) 原文日期： 2026-05-11

中文摘要

Ben Thompson 以 Cerebras 的 IPO 為切入點，論述 AI 晶片市場從「訓練」到「推理」的重大轉向。NVIDIA GPU 在訓練階段佔據主導地位，但推理階段將需要更多元化的異構計算（heterogeneous computing）。關鍵驅動力是 AI agent 的崛起——agent 需要大量推理計算。Cerebras 的晶圓級晶片（WSE）直接在單一晶圓上實現大規模計算，避免了 GPU 集群中晶片間通信的瓶頸，在推理場景具有獨特優勢。Thompson 預測未來晶片市場將從「GPU 獨大」走向多元異構。

關鍵洞察

AI 的算力需求正從「訓練」轉向「推理」，推理將成為佔比最大的計算負載

AI agent 的興起是推理需求暴增的核心驅動力——agent 需要持續的推理計算而非一次性訓練

異構計算（GPU + 專用晶片如 Cerebras/LPU）將取代 GPU-only 架構

NVIDIA GPU 在訓練的王者地位不必然延伸至推理；memory bandwidth 和 chip-to-chip networking 成為新瓶頸

原文關鍵句（英文保留）

> "The future is going to look increasingly heterogeneous."

> "The fundamental driver of the ongoing surge in semiconductor stocks is, of course, AI, particularly the realization that agents are going to need a lot of compute."

對 CJ 哥的價值

⭐⭐⭐ 高度相關。直接影響企業 AI 基礎設施投資決策的戰略視角。當企業評估 AI 轉型的基礎設施成本時，推理成本的長期趨勢是關鍵變數。可作為顧問工作中 AI 基礎設施策略、算力投資回報分析、以及雲端 vs 自建決策的參考依據。內容生產上可轉化為「AI agent 時代的基礎設施投資指南」。