英偉達H100給AI圈的一點“小小震撼”：11分鐘訓完GPT-3，霸榜8

11 分鐘內(nèi)訓練一遍 GPT-3，8 秒訓完 BERT。

這就是英偉達給 AI 圈的一點“小小震撼”。

在最新 MLPerf 訓練基準測試中，英偉達 H100 集群，橫掃八項測試，全部創(chuàng)下新紀錄，并且在大語言模型任務中表現(xiàn)尤為突出！

在大語言模型任務中，H100 集群的加速性能逼近線性增長。

即隨著集群處理器數(shù)量增加，加速效果也幾乎同比增加。

這意味著在集群內(nèi) GPU 之間的通信效率非常高。

除此之外，H100 還完成了推薦算法、CV、醫(yī)學圖像識別以及語音識別等任務，是唯一一個參加 8 項測試的集群。

而在算力就是生產(chǎn)力的時代下，這波成績意味著什么，懂得都懂。

據(jù)悉，本次測試系統(tǒng)由英偉達和 Inflection AI 聯(lián)合開發(fā)，在云廠商 CoreWeave 上托管。

單節(jié)點性能增長明顯

這次 MLPerf Training v3.0 中增加了兩項新任務:

大語言模型

推薦算法

這意味著測試任務包含了更大的數(shù)據(jù)集和更先進的模型。

如上刷新各項記錄的，是由 3584 塊 H100 組成的超大集群。

它的具體成績?nèi)缦?

這是本輪測試中，英偉達拿出的最大集群。

實際上他們還提交了一個包含 768 塊 H100 的集群進行測試，并分別在云上和本地部署。

結果顯示二者性能幾乎完全相同。

更進一步還論證了隨著集群中顯卡數(shù)量的增加，其性能提升可以接近線性增長。

除此之外，這輪測試中英偉達還刷新了單節(jié)點加速記錄。

和 6 個月前 MLPef Training v2.1 的數(shù)據(jù)比較，單個 DGX H100 系統(tǒng)在各項任務中平均提速 17%。

和 A100 Tensor Core GPU 相比，最高能提速 3.1 倍。

這些加速效果的實現(xiàn)，主要得益于兩個方面。

一方面是 H100 本身就足夠強悍。

H100 基于最新 Hopper 架構，采用臺積電 4nm 工藝，集成 800 億個晶體管，較 A100 增加了 260 億個。

內(nèi)核數(shù)量達到前所未有的 16896 個，是 A100 的 2.5 倍。

由于面向 AI 計算，H100 中專門搭載了 Transformer Engine，讓大模型訓練速度可直接 ×6。

另一方面則是依賴集群內(nèi)的加速網(wǎng)絡。

這里使用的是英偉達 Quantum-2 InfiniBand 網(wǎng)絡，是該網(wǎng)絡架構的第七代。

據(jù)悉，共有 90 個系統(tǒng)參與最新一輪測試，其中 82 個使用了英偉達的 GPU，英特爾方面有 7 個系統(tǒng)參與。

英特爾的加速系統(tǒng)使用了 64-96 Intel Xeon Platinum 8380 處理器和 256-389 Intel Habana Gaudi2 加速器。

其高配系統(tǒng)完成 LLM 的訓練時間為 311 分鐘。

基于這次報告的測試結果，有分析師表示他感受到的最大震撼不是 H100 本身的性能，而是在云上訓練 AI 實現(xiàn)的卓越效果。

那么這次和英偉達合作的云廠商 CoreWeave 是誰？聯(lián)合開發(fā)系統(tǒng) Inflection AI 又來者何人？

計算集群還會進一步擴大

首先來看 CoreWeave。

它成立于 2017 年，是一家大型云廠商，號稱提供業(yè)內(nèi)最快、最靈活的大規(guī)模 GPU 計算資源，提供渲染、機器學習等云上方案，速度比大型公共云快 35 倍，成本低 80%。

而這家云廠商很受科技巨頭青睞，英偉達在此之前沒少 cue 過它。

5 月，CoreWeave 拿下 2 億美元融資，主要來自對沖基金 Magnetar Capital，B 輪總融資額達到 4.21 億美元。

6 月，有消息稱微軟與 CoreWeave 簽署 AI 算力協(xié)議，用于計算基礎設施，未來數(shù)年內(nèi)的投資金額可能數(shù)十億美元。

英偉達也向 CoreWeave 投資了 1 億美元，4 月時它的估值為 20 億美元。

另一家 AI 初創(chuàng)公司 Inflection AI 由 DeepMind 創(chuàng)始成員穆斯塔法?蘇萊曼等人創(chuàng)立。

這家公司成立于 22 年 3 月，已拿下 2.25 億美元融資，估值超 12 億美元。

公司已經(jīng)開發(fā)出了一個大語言模型 Pi，正是在 H100 集群上訓練出來的。

據(jù)了解，Pi 的定位是幫助人類更好和計算機交互，它能通過聊天內(nèi)容來逐漸了解用戶，然后提供更加個性化的回答，類似于個人智能管家的感覺。

Inflection AI 的最新 Blog 里表示，基于目前的合作，他們計劃在未來幾個月內(nèi)進一步擴大底層計算基礎設施的規(guī)模。

參考鏈接:

廣告聲明:本文含有的對外跳轉鏈接，用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考。IT之家所有文章均包含本聲明。