輝達與Groq合作：記憶體市場的未來走向

近期，科技圈因輝達（Nvidia）與Groq的合作而沸騰。這一消息引發了廣泛的討論，尤其是在記憶體市場的未來走向上。前經理人「萬鈞法人視野」在其分析中指出，某些財經網紅將「Nvidia 授權/吸納 Groq 的 LPU 技術」直接推導為「HBM 的需求會快速減少、記憶體紅利將結束」，這一推論雖然戲劇性十足，但在產業邏輯上卻跳躍了幾個關鍵步驟。

從結論來看，這並非「SRAM 打敗 HBM」，而是「推論把市場做大，硬體開始分工」。LPU 的崛起，正是推論需求被證明、被放大的信號；而推論需求一旦被放大，HBM 作為大模型與高並行服務的核心供給，將隨著整體算力資本支出一同上升，形成相輔相成的非零和遊戲。

合作的本質：戰略與技術的結合

在此議題上，萬鈞法人視野直接請教了台積電與Nvidia相關專業人士，澄清這筆交易更像是「戰略合作+技術授權+人才吸納」的組合，而非傳統意義上的公司併購。事件核心描述偏向「合作協議、授權、吸納核心人才」。

LPU 代表的是推論型工作負載的優化路徑。Groq 的路線之所以被討論，是因為它抓住了推論最痛的那根刺：延遲與不確定性。它用「確定性」的哲學，將資料在晶片裡的流動用編譯器先排好，追求的是每一次回應都穩、都快。

應用實例與市場影響

目前已經有多個應用選擇了 Groq 的技術。例如，擁有2.6億月活用戶的設計巨頭Canva，將其AI魔法設計功能的後端推理交給了Groq，以確保用戶在點擊「生成」的瞬間無需等待。另一個例子是 GPTZero，這款擁有1000萬用戶的AI抄襲檢測工具，利用 Groq 將檢測速度提升了7倍，同時保持了99%的準確率。

這些應用展示了 Groq 在推論延遲優化上的潛力，為許多AI應用實現最後一哩路提供了可能性。然而，將此延伸為「HBM 不重要了」則開始失真，因為記憶體從來不是單選題，而是一個階層式的系統。

記憶體需求的未來展望

推論市場是否會因SRAM方案排擠HBM需求？答案是否定的，這一點與台積電的專家意見一致。AI 的需求在分裂，而不是在替代。一方面是「模型越做越大」的世界，這個世界的核心矛盾是容量與頻寬，SRAM 的物理成本決定了它更像是跑車，不可能突然變成能載貨的卡車。大模型推論要落地到大規模服務，最後一定需要大量外部記憶體去裝載權重、快取及多租戶的並行需求。

另一方面是「即時、低延遲、可預期」的世界，這裡的 KPI 是延遲能否壓到人類感知以下，這正是 LPU 擅長的戰場。推論市場的成功將帶動整個 AI 基礎設施的總盤子變大。