Grace Blackwell · 72 張 GPU · 液冷
第一個機架級的 Grace Blackwell 系統:在單一 NVLink 網域內提供 72 個 GPU,適用於兆級參數模型,並具備強大的雙精度運算能力,適合科學應用。
GB200 NVL72 提出了以機櫃作為 AI 運算單位的概念。三十六顆 GB200 超級晶片(每顆將一個 Grace CPU 與兩個 Blackwell GPU 配對),透過 NVLink Switch 托盤連接成一個 72-GPU 的運算域,頻寬達 130 TB/s。
NVIDIA 宣稱,相較於 H100,兆級參數模型的即時推論最高快 30 倍、訓練快 4 倍、能源效率高 25 倍。它同時保有可觀的雙精度效能,每個機架達 2,880 TFLOPS 的 FP64,非常適合同一份算力同時服務 AI 與科學運算的情境。
隨著 GB300 成為新建純 AI 專案的預設選擇,GB200 仍是成熟且廣為人知的平台,很適合重視 FP64 與成熟軟體的研究與主權計畫。
對單一伺服器而言過大的模型會留在機櫃的 NVLink 網路架構內,避免網路成為張量平行與專家平行的瓶頸。
與 Blackwell Ultra 不同,GB200 保有強大的 FP64,因此模擬與 AI 使用者可以共用同一套機架級容量。
液冷與 Grace CPU 帶來的每瓦效能遠優於同等規模的 Hopper 環境,NVIDIA 估計推論可達 25 倍。
框架、排程器與推論伺服器針對 GB200 的調校時間更久,能降低首次採用機櫃級系統的買家的風險。
NVIDIA 公布的機櫃數據。
| 配置 | 36 Grace CPUs, 72 Blackwell GPUs (36 GB200 superchips) |
|---|---|
| GPU 視訊記憶體 | 13.4 TB HBM3e, 576 TB/s |
| CPU | 2,592 Arm Neoverse V2 cores, 17 TB LPDDR5X at 14 TB/s |
| NVLink | 130 TB/s across the rack |
| NVFP4 Tensor Core | 1,440 | 720 PFLOPS |
| FP8 / FP16 Tensor Core | 720 / 360 PFLOPS (sparse) |
| FP64 | 2,880 TFLOPS |
| 冷卻 | Fully liquid cooled |
數據為 NVIDIA 公布的平台規格。若 NVIDIA 列出兩個 Tensor Core 數值,第一個為採用稀疏性的數值,第二個為密集運算數值。確切的配置(CPU、記憶體、儲存、散熱、網路)將與您議定,並以書面報價確認。
GB200 NVL72 機櫃的需求。
| 功耗 | Around 120 to 130 kW per rack (published estimate) |
|---|---|
| 冷卻 | Direct liquid cooling with coolant distribution and facility water |
| 地板與進出動線 | Rack weight, door heights and lift capacity checked for rack-level delivery |
| 網路 | 800 Gb/s-class fabric to other racks and storage |
從規模評估到日常營運,由單一負責的英國團隊全程負責
電力、冷卻迴路與出入動線,會與您的不動產團隊或主機代管業者一同規劃。
機櫃級交付、冷卻液灌注、通電與燒機測試。
NVLink、網路架構、FP64 與 AI 基準測試皆依約定目標記錄。
監控、韌體與軟體生命週期管理,若您希望由我們代為營運,還有 SysOps247。
NVIDIA 資料中心 GPU 由 NVIDIA 與伺服器製造商配貨,交期以月而非週計算。完整、經測試的系統通常比零散零件更早取得配貨,因此我們以完整系統形式報價這些平台。出貨至英國境外,以及英國境內許多先進 GPU,須先依英國與美國出口規定進行最終使用者與最終用途審查,我們才能確認供貨。
若只做 AI 工作,GB300 是較新、較快的選擇。若是混合 AI 與 FP64 科學運算,或最看重經過驗證的平台,GB200 仍是絕佳選擇。
可以。兩者都以 800 Gb/s 等級的速度連接 InfiniBand 或 Spectrum-X,因此可共用儲存與排程器,不過每個機架仍是各自獨立的 NVLink 網域。
告訴我們您希望它產出什麼、有多少人會使用,以及要設置在哪裡。工程師會回覆您一份評估規模後的建議,並坦誠說明自建是否適合您。