NVIDIA 價值 200 億美元的晶片可能讓 ChatGPT 相形見絀

晶片巨頭 NVIDIA 正準備推出一款強大的新型人工智慧處理器，旨在加快聊天機器人和其他 AI 工具生成回應的速度,相比之下可能會讓現今像 ChatGPT 這樣的系統顯得遲緩。

這個新平台預計將在 NVIDIA 年度 GTC 開發者大會上首次亮相,針對 AI 推理進行了最佳化,也就是訓練好的模型針對使用者提示產生答案的階段。與傳統的同時處理訓練和推理的 GPU 不同,這款即將推出的處理器專注於更快速、更有效率地提供回應。

如果這項產品推出,將標誌著去年 12 月將 Groq 創辦人納入旗下協議的首個實質成果,該公司專門從事高速 AI 處理硬體。

據報導,去年底 NVIDIA 花費約 200 億美元向晶片新創公司 Groq 授權技術並招募關鍵人員,包括其執行長。大約同一時間,NVIDIA 執行長黃仁勳告訴員工:「我們計劃將 Groq 的低延遲處理器整合到 NVIDIA AI 工廠架構中,擴展平台以服務更廣泛的 AI 推理和即時工作負載。」

根據《華爾街日報》報導,現在這款新的推理晶片預計能以高速處理複雜的 AI 查詢,OpenAI 和其他領先客戶可能會採用它。該報導還顯示,這款新晶片可能會處理 OpenAI 推理工作負載的近 10%。

消息人士稱,Groq 風格的晶片將使用 SRAM

在最近的財報電話會議中,NVIDIA 執行長暗示將在即將到來的 GTC 活動上推出幾款新產品,該活動常被稱為「AI 的超級盃」。他曾表示:「我有一些很棒的想法想在 GTC 上與大家分享。」

大多數分析師同意 Groq 風格的晶片可能是產品陣容的一部分。他們還表示,其設計可能會揭示 NVIDIA 如何解決推理運算中的記憶體限制。這類平台通常運行在高頻寬記憶體 (HBM) 上。然而,HBM 最近一直難以取得。

內部人士聲稱該公司計劃在晶片中使用 SRAM,而非與 HBM 相關的動態 RAM。理想情況下,SRAM 更容易取得,並能改善 AI 推理工作負載的效能。

如果這款晶片推出,對晶片公司和 AI 訓練模型來說可能是一大進步。然而,談到其可能的推出時,d-Matrix 創辦人兼執行長 Sid Sheth 對其發展投下了陰影。他指出,雖然 NVIDIA 仍是 AI 訓練領域的明確領導者,但推理代表著截然不同的局面。他分享道:「開發者可以轉向 NVIDIA 以外的競爭對手,因為運行完成的 AI 模型不需要與訓練它們相同的程式設計。」

儘管如此,其他科技巨頭也在推進推理運算。Meta 本週推出了四款專為推理量身打造的處理器,促使一位矽谷投資者表示該產業可能正在進入非「NVIDIA 主導」的階段。

然而,最近 NVIDIA 競爭對手 FuriosaAI 的執行長 June Paik 在評論易於部署的推理運算的好處時警告說,大多數資料中心無法容納最新的液冷 GPU。

儘管如此,儘管他有所擔憂,美國銀行分析師預計到 2030 年推理工作負載將佔 AI 資料中心支出的 75%,屆時市場將達到約 1.2 兆美元,高於去年的約 50%。Creative Strategies 科技分析師 Ben Bajarin 也斷言,未來的資料中心不會符合一體適用的模式,預期公司將採取不同的晶片和設施開發方法。