最適合: 以 Gemini 開發、在 BigQuery 上執行資料密集型 AI,以及在 TPU 上進行大型訓練的團隊。
Google Cloud 上的請求路徑:沒有金鑰檔案,因為服務使用 Workload Identity Federation;Model Armor 篩檢提示詞與回應;Vertex AI 位於 VPC Service Controls 邊界內,並搭配客戶自管的加密金鑰。AI 服務
- Vertex AI:來自 Model Garden 的 Gemini 與合作夥伴模型、調校、評估、管線與端點。
- Vertex AI Agent Builder 與 Agent Engine,搭配開源的 Agent Development Kit(ADK)與 Agent2Agent(A2A)通訊協定。
- BigQuery ML 與 Vertex AI Search,用於對企業資料進行檢索。
GPU 與加速器
- Cloud TPU,包括用於訓練與推論的最新世代。
- A3 (H100)、A3 Ultra (H200)、A4 (B200) 與 A4X (GB200) 虛擬機器。
- GKE 搭配 GPU 與 TPU 節點集區;Cloud Run 搭配 GPU 提供無伺服器推論。
代理與身分
- Workload Identity Federation 讓服務與管線無需金鑰檔案即可完成驗證。
- 每個代理程式各自的 IAM 條件與服務帳戶。
安全與資料
- 在 Vertex AI 周圍設置 VPC Service Controls、客戶自管加密金鑰與資料落地控制。
- Model Armor 可篩查提示詞與回應,防範注入攻擊與資料外洩。
擴展與最佳化
- Gemini 的佈建吞吐量;用於 GPU 與 TPU 容量的動態工作負載排程器。
- 透過上下文快取與批次預測降低成本。
英國與歐盟區域
倫敦(europe-west2)與歐盟區域。
注意事項
TPU 的程式碼路徑(JAX、PyTorch/XLA)與 CUDA 不同,請在投入前先規劃移植。
Workstation 如何協助: 我們建置 Vertex AI 與 Gemini 解決方案,營運 GKE GPU 與 TPU 叢集,並將其連接至地端資料。
以 Amazon Bedrock 大規模擴展 AI →雲端上適用於 LLM、代理程式與資料的 CI/CD →保護 LLM 與代理程式 API →AI 代理程式 harness →AI 的身分識別與驗證 →
我們合作的其他供應商
標誌為各所有者之商標,僅用於識別各平台,並取自 Wikimedia Commons。圖表由 Workstation 團隊製作。