OpenAI 表示對 Nvidia 推理硬體不滿意，現正關注 AMD、Cerebras、Groq

OpenAI 對 Nvidia 的 AI 晶片不再滿意,特別是在回應使用者速度方面。該公司從去年開始尋找其他選擇,目前正在與 AMD、Cerebras 洽談,之前甚至還與 Groq 進行過談判,但後來被終止了。

當 OpenAI 意識到 Nvidia 的晶片在特定任務(如編寫程式碼和處理軟體對軟體任務)上速度不夠快時,這種緊張關係開始變得真實。

據稱一位內部人士表示,OpenAI 希望新晶片能夠處理至少 10% 的推理需求。這是 AI 回應使用者的部分,而不是學習的部分。

OpenAI 希望獲得更快的晶片用於編碼和使用者回應

OpenAI 目前大部分工作仍在 Nvidia 上運行,但在幕後,它正在測試可以讓一切變得更快的晶片。

這包括搭載 SRAM 的晶片,透過將記憶體放在處理器旁邊來加快速度。Nvidia 和 AMD 仍然使用位於晶片外部的記憶體,這會降低速度。

OpenAI 內部人員指出,程式碼編寫工具 Codex 是速度緩慢問題最嚴重的地方。一些員工甚至將效能不佳歸咎於 Nvidia 的硬體。在 1 月 30 日的新聞電話會議上,OpenAI 執行長 Sam Altman 表示:「使用我們編碼模型的客戶會非常重視編碼工作的速度。」

Sam 補充說,一般 ChatGPT 使用者不太在意速度,但對於開發者和企業來說,每一秒都很重要。他表示 OpenAI 剛剛與 Cerebras 簽署了一項協議來加快速度。

與此同時,Anthropic 和 Google 等公司使用自己的晶片獲得了更好的結果。Google 的 TPU 專為推理工作所需而打造。這使它們在回應速度上更快,特別是對於 Claude 和 Gemini 等模型。

Nvidia 授權協議後 OpenAI-Groq 談判終止

OpenAI 也曾與另一家打造快速晶片的新創公司 Groq 進行談判,但這些對話並未取得進展。Nvidia 介入並與 Groq 簽署了一項 200 億美元的授權協議。這讓 Nvidia 獲得了 Groq 的設計,並扼殺了 OpenAI 與他們合作的計畫。

一位熟悉情況的消息人士表示,Groq 的晶片正是為 OpenAI 所需而打造的。但一旦 Nvidia 鎖定了這項協議,那扇門就關閉了。儘管授權是非獨家的,但 Groq 現在專注於雲端軟體,而 Nvidia 也為自己招攬了一些 Groq 的晶片設計師。

另一方面,當 Nvidia 試圖收購 Cerebras 時,Cerebras 拒絕了。相反,他們繼續推進與 OpenAI 的協議。Groq 也獲得了估值約 140 億美元的投資提議,但由於與 Nvidia 的合作關係,情況現已改變。

OpenAI 並未完全放棄 Nvidia。在一份公開聲明中,一位發言人表示:「我們依賴 Nvidia 來支援絕大多數的推理設備」,並稱其每美元效能是市場上最好的。Nvidia 也表示:「客戶持續選擇 Nvidia 進行推理,因為我們在大規模部署時提供最佳效能和總體擁有成本。」

1000 億美元 Nvidia 投資協議仍陷入僵局

去年,Nvidia 表示計劃向 OpenAI 投資高達 1000 億美元。這筆資金旨在幫助 OpenAI 購買更先進的晶片,作為回報,Nvidia 將獲得該公司的股份。路透社表示,該協議原定在幾週內完成。但至今仍未完成。

在該協議停滯期間,OpenAI 繼續與 AMD 和其他公司簽署協議,測試可以直接與 Nvidia 競爭的晶片。但隨著 OpenAI 改變其產品計畫,所需的硬體類型也發生了變化。一位熟悉情況的人士表示,這進一步拖慢了談判。

週六,Nvidia 執行長黃仁勳被問及這種摩擦時,他說:「那是無稽之談」,並堅稱 Nvidia 仍計劃對 OpenAI 進行大筆投資。但在幕後,雙方顯然都在探索各自的選擇。

與此同時,Nvidia 一直在尋找新的晶片創意。它聯繫了 Cerebras 和 Groq,看看他們是否願意被收購。Cerebras 拒絕了這一提議,並加倍投入與 OpenAI 的協議。

目前,OpenAI 使用 GPT4o 來支援其大部分服務。但從目前情況來看,至少部分工作在不久的將來將在 AMD 或 Cerebras 的晶片上運行。該公司並非試圖完全拋棄 Nvidia,但顯然希望對其系統運行速度擁有更多控制權。

透過導師指導和每日創意提升您的策略 - 30 天免費使用我們的交易計畫