share_log

以太网将击败InfiniBand,最终胜出?

以太網將擊敗InfiniBand,最終勝出?

半導體行業觀察 ·  05/09 21:00

如果您希望可以時常見面,歡迎標星 收藏哦~

來源:內容由半導體行業觀察(ID:icbank)編譯自nextplatform,謝謝。

除了Nvidia 以外的幾乎所有人都認爲,從長遠來看,大多數在任何可觀規模(數百到數百萬個數據中心設備)上運行大多數人工智能訓練和推理工作負載的人都將需要比 InfiniBand 更便宜的網絡人工智能加速器替代方案。

雖然 Nvidia 辯稱 InfiniBand 僅佔集群成本的 20%,但它將 AI 訓練的性能提高了 20%,因此物有所值,但您仍然需要承擔這 20% 的集群成本,這要比基於以太網的集群的正常值低10% 或更多。後者的進給量和速度( feeds and speeds ),在紙面上和在實踐中常常使其成爲稍遜一籌的技術選擇。

但是,在很大程度上要感謝超以太網聯盟( Ultra Ethernet Consortium),運行人工智能工作負載的以太網的幾個問題將得到解決,我們認爲這也將有助於促進傳統 HPC 工作負載更多地採用以太網。遠遠超出了採用 Cray 設計的“Rosetta”以太網交換機和“Cassini”網絡接口卡(包含 Hewlett Packard Enterprise 的 Slingshot 互連)的範圍,並且不包括兩年一度的“超級計算機”500 強排名的中間位置。高性能計算或人工智能並沒有真正作爲他們的日常工作,而是供應商和國家的宣傳噱頭。

關於以太網如何發展的討論是 Arista Networks 最近一次與華爾街的電話會議中討論的最重要的事情,該電話會議正在審查 3 月份結束的 2024 年第一季度的財務業績。

正如我們之前報道的,Meta Platforms 正在構建兩個集群,每個集群有 24,576 個 GPU,一個基於 Nvidia 的 400 Gb/秒 Quantum 2 InfiniBand(我們推測),另一個使用 Arista Network 的旗艦產品 400 Gb/秒 7800R3 AI Spine 構建(我們知道),這是一款多 ASIC 模塊化交換機,聚合帶寬爲 460 Tb/秒,支持packet spraying(一項關鍵技術,使以太網更好地進行對 AI 和 HPC 至關重要的集體網絡操作)。7830R3 主幹交換機基於Broadcom 的 Jericho 2c+ ASIC,而不是經過 AI 調優的 Jericho 3AI 芯片——Broadcom 更直接針對 Nvidia 的 InfiniBand,但據我們所知,該芯片尚未批量出貨

Arista Networks 爲 Meta Platforms 的以太網集群構建的互連還包括 Wedge 400C 和 Minipack2 網絡機櫃,它們符合 Meta Platforms 青睞的開放計算項目。(最初的 Wedge 400 基於 Broadcom 的 3.2 Tb/秒“Tomahawk 3”StrataXGS ASIC,而用作 AI 集群中機架頂部的 Wedge 400C 基於 Cisco Systems 的 12.8 Tb/秒 Silicon One ASIC。Minipack2基於 Broadcom 的 25.6 Tb/秒“Tomahawk 4”ASIC 看起來 Wedge 400C 和 Minipack2 用於服務器主機集群,7800R AI Spine 用於 GPU 集群,但 Meta Platforms 尚未透露細節。

Meta Platforms 是人工智能領域以太網的旗艦客戶,微軟也將如此。但其他人也在帶頭衝鋒。Arista Networks 在二月份透露,它已經贏得了相當大的人工智能集群的設計。該公司聯合創始人兼首席執行官 Jayshree Ullal 深入介紹了這些勝利如何轉化爲資金,以及如何幫助 Arista Networks 實現到 2025 年人工智能網絡收入 7.5 億美元的既定目標。

Ullal 在電話會議上提到 Meta Platforms 集群時說道,“這個集群可以解決複雜的人工智能訓練任務,這些任務涉及跨數千個處理器的模型和數據並行化的混合,而事實證明,以太網可以將工作效率提高至少 10%與 InfiniBand 相比,所有數據包大小的完成性能。我們正在見證人工智能網絡的變化,並預計這種變化將在今年和十年內持續下去。以太網正在成爲前端和後端人工智能數據中心的關鍵基礎設施。人工智能應用程序根本無法單獨工作,需要由後端 GPU 和人工智能加速器組成的計算節點以及 CPU 和存儲等前端節點之間進行無縫通信。”

完成時間提高 10% 是通過當前 Jericho 2c+ ASIC 作爲網絡骨幹實現的,而不是 Jericho 3AI。

在稍後的電話會議中,Ullal 更詳細地介紹了 InfiniBand 和以太網之間的情況,這是一個有用的觀點。

“正如您所知,從歷史上看,當您單獨看待 InfiniBand 和以太網時,會發現每種技術都有很多優勢,”她繼續說道。“傳統上,InfiniBand 被認爲是無損的。並且以太網被認爲具有一些損耗特性。然而,當您實際將完整的 GPU 集群以及光學器件和所有組件放在一起時,您會看到所有數據包大小的作業完成時間的一致性,數據顯示 – 這是我們從第三方獲得的數據, Broadcom 表示,在現實環境中的幾乎所有數據包大小中,與這些技術相比,以太網的作業完成時間大約快 10%。因此,您可以在孤島中查看這個東西,也可以在實際的集群中查看它。在實際集群中,我們已經看到以太網的改進。現在,不要忘記,這只是我們今天所知道的以太網。一旦我們有了超以太網聯盟以及您將在packet spraying、dynamic load balancing 和congestion control方面看到的一些改進,我相信這些數字將會變得更好。”

然後 Ullal 談到了 Arista Networks 在其參與的五項主要交易中與 InfiniBand 相比贏得的四項 AI 集群交易。(大概 InfiniBand 贏得了另一項交易。)

“在所有四種情況下,我們現在都從試驗轉向試點,今年連接了數千個 GPU,我們預計 2025 年產量將達到 10K 到 100K GPU,”Ullal 繼續說道。“大規模以太網正在成爲事實上的網絡和橫向擴展人工智能訓練工作負載的首選。一個好的人工智能網絡需要由高度差異化的EOS和網絡數據湖架構提供良好的數據策略。因此,我們對於在 2025 年實現 7.5 億美元的人工智能目標變得越來越有建設性。”

如果以太網的成本是原來的一半到三分之一,包括光纖、電纜、交換機和網絡接口,並且可以更快地完成工作,從長遠來看,對於給定數量的網絡,具有更大的彈性和更大的規模網絡層,InfiniBand 面臨壓力。如果像 Arista Networks 那樣在相當大的 GPU 集群上五中四勝的比例具有代表性的話,那麼它已經做到了。顯然,引用這些數字的目的是讓我們相信它具有代表性,但最終將由市場決定。

我們在二月份就說過這一點,現在我們還會再說一遍:我們認爲 Arista Networks 低估了其預期,而華爾街似乎也同意這一點。該公司確實將 2024 年收入增長指引提高了兩個百分點,達到 12% 到 14% 之間,我們認爲對人工智能集群(最終可能是 HPC 集群)採用以太網的樂觀情緒在這裏發揮了作用。

但這裏有一個有趣的數學問題:Arista Networks 在 AI 集群互連銷售額中每賺取 7.5 億美元,Nvidia 可能會損失 15 億至 22.5 億美元。在過去 12 個月中,我們估計 Nvidia 的 InfiniBand 網絡銷售額爲 64.7 億美元,而數據中心的 GPU 計算銷售額爲 397.8 億美元。在 4 比 1 的外賣比例和穩定的市場情況下,Nvidia 可以保留約 13 億美元,UEC 集體可以保留 17 至 26 億美元,具體取決於以太網成本如何波動。乘以大約 1.8 倍,得到大約 860 億美元,我們預計 Nvidia 在 2008 年的數據中心收入將達到 860 億美元左右,如果一切保持不變,您會發現 InfiniBand 的銷售目標更像是 120 億美元。

UEC 成員有大量的市場份額可以竊取,但他們會通過從系統中消除收入來竊取市場份額,就像 Linux 對 Unix 所做的那樣,而不是將收入從一種技術轉換爲另一種技術。節省下來的資金將重新投入 GPU 中。

與此同時,Arista 的季度業績相當不錯,沒有什麼真正的驚喜。產品銷售額增長 13.4%,達到 13.3 億美元,服務收入增長 35.3%,達到 2.425 億美元。產品內的軟件訂閱爲 2,300 萬美元,因此年金類服務總額爲 2.656 億美元,同比增長 45.6%。總收入增長 16.3%,達到 15.7 億美元。淨利潤增長 46.1%,達到 6.38 億美元,Arista Networks 本季度擁有 54.5 億美元現金,我們估計約有 10,000 名客戶。我們認爲 Arista 的數據中心收入約爲 14.8 億美元,該業務的運營收入約爲 6.23 億美元。這是我們關心的。當然,校園和邊緣很有趣,我們希望它們能夠發展併爲 Arista Networks 和其他公司帶來盈利。

声明:本內容僅用作提供資訊及教育之目的,不構成對任何特定投資或投資策略的推薦或認可。 更多信息
    搶先評論