成本會隨規模大幅變動。入門級(小型團隊,5-20 位使用者):Mac Studio M4 Ultra(約 £4,000)或搭載 RTX 4090 的工作站(約 £2,500),執行 Ollama,總計 £3,000-£6,000。中階(部門,50-200 位使用者):搭載 2-4 張 A100 或 L40S 的 GPU 伺服器、網路與儲存,總計 £50,000-£150,000。企業級(500+ 位使用者,具備訓練能力):搭載 H100 的多節點 GPU 叢集、InfiniBand 與平行儲存,總計 £500,000-£2M+。DGX 系統:DGX H100 起價約 £300,000。雲端替代方案:AWS/GCP 的 GPU 執行個體每張 GPU 每小時 £2-£30,適合突發工作負載,但全年無休運作則成本高昂。許多組織採用混合做法:穩定的推論工作負載放在地端,訓練的突發需求則使用雲端。