AI 工廠 · NVIDIA 資料中心 · 英國
AI 工廠將您的資料、電力與 GPU 轉化為源源不絕的解答、預測與代理。我們為英國組織設計、建置、安裝並營運 NVIDIA AI 工廠，從單一機櫃到多機櫃可擴展單元皆可。
傳統資料中心儲存並提供資訊，AI 工廠則是生產資訊。原料投入（您的文件、紀錄、感測器資料與程式碼），成品產出：員工提問的解答、代理程式做出的決策、預測、生成的設計與訓練完成的模型。產出的單位是 token，而工廠的任務就是快速、低成本且安全地生產優質 token。
如同任何工廠，它不只是一堆機器。GPU 負責運算，但您實際獲得的吞吐量取決於連接它們的網路、供應資料的儲存、排程它們的軟體、維持運轉的電力與散熱，以及操作整條產線的人員。多數令人失望的 AI 專案，原因在於其中某個環節規模不足，而非 GPU 太慢。
這就是為什麼我們將 AI 工廠視為由單一負責方打造的一個工程系統。我們依您需要完成的工作來規劃規模，確認您的建築能夠容納，在英國組裝並測試，並在上線後持續維運。
為何各組織正將重要的 AI 工作從租用的 GPU 轉移到自己掌控的基礎架構
雲端 GPU 無論工作是否有價值，都按小時計費。自有算力則是固定成本，因此每多一次查詢、代理執行或訓練任務，都會降低每一次的成本。一旦使用率趨於穩定，算下來通常自有更划算。
模型、提示詞、嵌入向量與輸出絕不離開您掌控的基礎架構。這讓 UK GDPR、產業監管機關與客戶合約的合規變得簡單許多，也讓敏感工作遠離共用的多租戶平台。
無需申請配額，無需等待區域釋出資源，也沒有突如其來的價格變動。您的團隊可依據已擁有的容量進行規劃，並由您設定優先順序，讓緊急工作優先執行。
同一個叢集可以進行預訓練、微調、提供模型服務、對您的文件執行檢索，並代管代理程式。工作負載排程讓各團隊共用 GPU，昂貴的硬體因此持續運作，而不是閒置在某個部門裡。
每一代 NVIDIA 產品在單位電力下產出的 token 都遠多於上一代。NVIDIA 指出，在低延遲的代理式工作負載上，Blackwell Ultra 系統每百萬瓦的產出最高可達 Hopper 的 50 倍。在英國的電價下，效率是一項實際的預算項目。
身分提供者、網路邊界、記錄機制，以及工廠是否連上網際網路，全由您決定。當資料有所要求時，亦可採用實體隔離與受限網路的設計。
先從依參考設計建置的一個節點或一個機架開始，隨著需求得到驗證，再增加相同的機架。由於每一步都遵循同一份藍圖，成長不代表重新設計。
微調模型、評估資料集、提示詞庫與代理工作流程都會成為您擁有的資產。您在工廠上執行的每個專案，都會讓下一個更快完成，而不必付費讓供應商重新了解您的業務。
自有並不適合每個人。如果您的 GPU 需求偶發或難以預測，或只需要幾週的算力，雲端或小型個人 AI 系統通常更便宜。若是如此，我們會直接告訴您。
依您執行的模型規模配置的 GPU 伺服器或機櫃級系統：每顆 GPU 的記憶體對應模型大小，NVLink 域大小決定單一模型可擴展的範圍，精度支援（FP4 至 FP64）則對應您所需的運算。
伺服器之間的 GPU 對 GPU 網路，採用 NVIDIA Quantum InfiniBand 或 Spectrum-X Ethernet，每顆 GPU 達 400 至 800 Gb/s。它決定了 32 顆 GPU 是像一台大型機器運作，還是像 32 台小機器。
平行或高吞吐量儲存，讓 GPU 在訓練與檢查點儲存期間持續獲得資料，並搭配獨立網路，使儲存流量永不與 GPU 流量競爭。
NVIDIA AI Enterprise、NIM 微服務、Kubernetes 或 Slurm、Run:ai 等工作負載排程，以及 Mission Control 等叢集管理，皆經設定，讓各團隊能安全地自助使用。
現代 GPU 機櫃每櫃功耗為 30 至逾 100 kW。電力饋入、散熱排除、必要時的直接液冷，以及樓板承重，都是最先設計的項目，而不是到交貨當天才發現問題。
監控、韌體與驅動程式更新、安全修補、模型上線與容量規劃。若營運不善，工廠的產出會因故障與漂移而慢慢流失。
典型的 Workstation AI 工廠專案如何進行
我們從工作負載出發，而不是從硬體出發：使用哪些模型、多少使用者、每日多少 token、多少訓練量，以及需要多快成長。這會給出一個可供設計的目標吞吐量。
我們會檢查您的機房或機架代管空間，包含每櫃電力、冷卻容量、地板承重、進場動線與網路連線。如果場地無法容納該設計，我們會在您花費任何費用之前直接告知。
我們會選定平台與網路，產出機架配置與物料清單，並在提出正式報價前，與供應商處理配貨及任何出口管制審查。
系統在機架層級進行組裝、佈線與壓力測試，並驗證 GPU、記憶體、網路與儲存，讓問題在測試區就被發現，而不是在您的資料機房裡。
我們負責安裝、連接網路架構，部署作業系統、驅動程式、Kubernetes 或 Slurm 以及 NVIDIA 軟體堆疊，並在交付前與您的團隊一同執行驗收測試。
我們的 SysOps247 服務可全天候監控並維運工廠，透過 Ring Promoter 安全地推出新模型，並以 WSL Vault 與 WSL Proxy 鎖定機密與邊緣存取。
快速了解我們用來建置 AI 工廠的 NVIDIA 資料中心平台。每個平台都有專屬頁面，內容更詳盡。
| 平台 | 每單元 GPU 數 | GPU 視訊記憶體 | 冷卻 | 最適合 |
|---|---|---|---|---|
| HGX B300 32-GPU 機櫃 | 32 (4 × 8) | 8.4 TB HBM3e | 氣冷或液冷 | 在標準機櫃上進行推理推論與大型訓練 |
| Compal SGX30-2（HGX B300 節點） | 8 | 2.1 TB HBM3e | 氣冷 | 經認證、規格已備妥、可供訂購的 B300 節點 |
| HGX B200 叢集 | 每個節點 8 個 | 每個節點 1.4 TB | 氣冷或液冷 | 混合 AI 與 FP64 科學運算 |
| GB300 NVL72 | 72 顆 GPU 同處一個 NVLink 域 | 20 TB HBM3e | 液冷 | 最大的模型與最快的推理 |
| GB200 NVL72 | 72 顆 GPU 同處一個 NVLink 域 | 13.4 TB HBM3e | 液冷 | 兆級參數模型，外加強大的 FP64 |
| DGX SuperPOD | 數百至數千 | 依單元擴展 | 液冷或氣冷 | 交鑰匙式、經 NVIDIA 驗證的 AI 超級電腦 |
| RTX PRO 6000 AI 工廠 | 每個節點 8 個 | 每個節點 768 GB | 氣冷 | 企業代理程式、視覺運算與模擬 |
| H200 NVL 伺服器 | 每台最多 8 個 | 每顆 GPU 141 GB | 氣冷 | 在現有氣冷機櫃中進行推論 |
| Vera Rubin NVL72 | 72 顆 GPU 同處一個 NVLink 域 | 每張 GPU 288 GB HBM4 | 液冷 | 規劃下一代算力 |
記憶體數據為 NVIDIA 公布的各平台總量。每個選項的網路說明，請見我們的 AI 工廠網路頁面。
選擇一個平台，了解它的功能、對您場地的需求，以及我們如何交付
NVIDIA 資料中心 GPU 由 NVIDIA 與伺服器製造商配貨，交期以月而非週計算。完整、經測試的系統通常比零散零件更早取得配貨，因此我們以完整系統形式報價這些平台。出貨至英國境外，以及英國境內許多先進 GPU，須先依英國與美國出口規定進行最終使用者與最終用途審查，我們才能確認供貨。
GPU 叢集只是硬體。AI 工廠則是圍繞它的整套生產系統：運算、網路、儲存、軟體、設施與營運，經整體設計，以穩定產出 AI 成果。只有叢集而缺少其餘部分，往往遠遠無法發揮其潛力。
沒有最低規模限制。許多組織從單台 8 GPU 伺服器或依參考設計建置的一個機櫃開始，再增加相同的機櫃。重要的是，第一步的建置要能在不重新設計的情況下持續成長。
不需要。多數客戶使用英國的主機代管設施，其電力與冷卻足以支援這些系統。我們可以協助您挑選，並負責在該處的安裝。若適合的自有機房通過我們的場地勘查，也同樣可行。
供貨是最耗時的部分。NVIDIA 資料中心平台的交期目前以月計，並取決於配額分配。設計與場地勘查會與供貨同步進行，硬體運抵現場後，機櫃的安裝與啟動通常只需數天至數週。
有時需要。先進的 NVIDIA GPU 與 AI 系統受英國與美國出口規定管制。在確認供貨之前，我們需要知道最終使用者、預定用途與安裝地點，部分目的地需要申請許可證，可能耗時或遭拒。
有。硬體保固與 NVIDIA 軟體支援皆透過我們安排，並由我們的英國工程師提供第一線支援。經銷會員的每筆訂單皆享有免費技術支援，而 SysOps247 可提供全天候監控與營運。