Hopper · PCIe · 141 GB HBM3e
PCIe Hopper GPU，每顆配備 141 GB HBM3e，以二或四顆為一組橋接：可直接放入現有氣冷機櫃的高記憶體推論方案。
有時最合適的 AI 工廠，就是下個月就能裝進您現有機架的那一座。H200 NVL 將 Hopper 大容量、高速的 HBM3e 記憶體帶入標準 PCIe 伺服器：每個 GPU 141 GB、4.8 TB/s，採雙槽氣冷卡設計，功耗最高 600 W。
兩張或四張顯示卡可透過 NVLink 橋接器連接，每個 GPU 達 900 GB/s，因此大於單張卡記憶體的模型可以分散到橋接群組中。NVIDIA 評定 H200 NVL 的 LLM 推論效能最高可達 H100 NVL 的 1.7 倍，且 GPU 隨附 NVIDIA AI Enterprise。
若軟體已在 Hopper 上驗證，或設施無法滿足 Blackwell 的電力密度，它也是合理的平台。請注意，H200 NVL 的供貨高度配額管制，交期很長。
每張 GPU 141 GB，可容納 48 GB 或 80 GB 顯示卡無法負荷的大型模型與長上下文。
每顆 GPU 900 GB/s 的 NVLink 橋接，讓一組顯示卡可共同提供模型服務，而不必經過 PCIe。
通過 NVIDIA 認證的伺服器與 MGX 伺服器，最多可搭載八個 H200 NVL GPU，使用一般氣冷機櫃。
GPU 隨附 NVIDIA AI Enterprise 訂閱，因此 NIM 微服務與受支援的框架可立即使用。
NVIDIA 公布的 H200 NVL 數據與一般伺服器。
| GPU 視訊記憶體 | 141 GB HBM3e, 4.8 TB/s |
|---|---|
| FP8 Tensor Core | 3,341 TFLOPS (sparse) |
| FP16 / BF16 Tensor Core | 1,671 TFLOPS (sparse) |
| FP64 Tensor Core | 60 TFLOPS |
| 功耗 | Up to 600 W (configurable) |
| 互連 | 2- or 4-way NVLink bridge at 900 GB/s per GPU; PCIe Gen5 at 128 GB/s |
| 分割 | Up to 7 MIG instances of 16.5 GB |
| 伺服器 | Up to 8 GPUs per NVIDIA-Certified or MGX server |
數據為 NVIDIA 公布的平台規格。若 NVIDIA 列出兩個 Tensor Core 數值，第一個為採用稀疏性的數值，第二個為密集運算數值。確切的配置（CPU、記憶體、儲存、散熱、網路）將與您議定，並以書面報價確認。
通常是繼 RTX PRO 之後最容易託管的平台。
| 功耗 | Up to 600 W per GPU plus host; an 8-GPU server sits well below HGX power levels |
|---|---|
| 冷卻 | Air cooled, dual-slot cards |
| 機架 | Standard server racks |
從規模評估到日常營運，由單一負責的英國團隊全程負責
我們會檢查每顆 GPU 及每個橋接組可容納哪些模型與上下文長度。
橋接器、氣流與電力皆在通過認證的伺服器中驗證。
在您的模型上設定並進行效能基準測試的 NIM、vLLM 或 TensorRT-LLM。
英國在地支援，並有 NVIDIA AI Enterprise 支援作為後盾。
NVIDIA 資料中心 GPU 由 NVIDIA 與伺服器製造商配貨，交期以月而非週計算。完整、經測試的系統通常比零散零件更早取得配貨，因此我們以完整系統形式報價這些平台。出貨至英國境外，以及英國境內許多先進 GPU，須先依英國與美國出口規定進行最終使用者與最終用途審查，我們才能確認供貨。
對於可容納 Blackwell 的新建專案，通常不需要。在氣冷、電力限制或經 Hopper 驗證的軟體堆疊使 Blackwell 無法採用時，它才有意義。
H200 NVL 受配額限制，交期很長，目前比 RTX PRO 顯示卡更久。我們會向供應商確認後，以書面報價確認。
告訴我們您希望它產出什麼、有多少人會使用，以及要設置在哪裡。工程師會回覆您一份評估規模後的建議，並坦誠說明自建是否適合您。