AI 知識庫 · AI 雲端平台
每一朵 AI 雲端，由一個熟悉它們的團隊負責
超大規模雲端業者提供託管模型與企業級管控，GPU 雲端提供原始運算容量，市集提供最便宜的時數。Workstation 團隊負責設計、保護並營運橫跨這些平台、以及您自有硬體的 AI。
超大規模雲端業者
GPU 雲端
亦支援：Together AI、Fireworks AI、Groq、Hugging Face Inference Endpoints、Replicate、Crusoe、Hyperstack、Scaleway 與 OVHcloud。
比較一覽
多數組織不只使用一種：以超大規模雲端業者提供託管模型與治理，以 GPU 雲端負責訓練或高負載推論，並以自有硬體承載敏感或穩定的工作負載。
| 型別 | 優勢 | 取捨 | 適用於 |
|---|---|---|---|
| 超大規模雲端業者（AWS、Google Cloud、Azure、Oracle） | 受管模型、身分、合規、全球區域 | GPU 價格較高，需管理配額 | 正式環境 API、受規範資料、託管代理 |
| GPU 雲端（CoreWeave、Lambda、Nebius、DigitalOcean） | 最新 GPU、大型叢集、更簡單的定價 | 較少的託管服務 | 訓練、微調、大量推論 |
| GPU 市集（Vast.ai、RunPod） | 每 GPU 小時成本最低，啟動迅速 | 可靠性與信任度不一 | 實驗、批次作業、可縮減至零的端點 |
| 您自己的 Workstation 硬體 | 固定成本、完全掌控、資料留在您的大樓內 | 資本支出、容量規劃 | 敏感資料、穩定工作負載、開發 |
以 Amazon Bedrock 大規模擴展 AI
Bedrock 解決了 GPU 的問題，但大規模流量仍需要妥善設計。以下是我們用於高流量 Bedrock 工作負載的模式。
- 1
先規劃配額
依尖峰流量評估每分鐘權杖數與每分鐘請求數，並在上線前依模型與區域提高配額。
- 2
分散負載
跨區域推論設定檔會在某個區域繁忙時，自動將請求分流至其他區域。
- 3
保證容量
佈建輸送量適用於穩定、對延遲敏感的流量；其餘則採用隨選。
- 4
降低每次請求成本
針對重複內容使用提示詞快取、針對離線工作使用批次推論，並以提示詞路由將簡單請求導向較小的模型。
- 5
吸收流量高峰
將請求排入佇列（SQS）並以非同步方式處理，遇到節流時採用指數退避，並備有備援模型。
- 6
正確地執行代理程式
Bedrock AgentCore 提供代理程式執行環境、記憶體、工具閘道、身分識別與可觀測性；Knowledge Bases 提供託管式 RAG。
- 7
保持私密
每次呼叫都有 VPC 端點、KMS 金鑰、Guardrails 與 CloudTrail。
- 8
衡量一切
CloudWatch 指標涵蓋延遲、token、節流與每項功能成本，並在使用者察覺前發出警示。
雲端上適用於 LLM、代理程式與資料的 CI/CD
與地端相同的紀律：一切皆版本控管、測試、簽署，並透過環級逐步晉升，再以基礎架構即程式碼確保每個環境都可重現。
LLM 管線
- 選擇或微調
- 評估（品質、安全性、延遲、成本）
- 註冊並簽署
- 部署到預備環境端點
- 透過環級推進部署至正式環境
- 監控與回復
Bedrock、Vertex AI 或 Azure AI Foundry 評估；SageMaker 或 Vertex 管線；MLflow 登錄庫；Terraform 或 OpenTofu；以及用於健康檢查發布的 Ring Promoter。
代理程式管線
- 為提示詞、工具與政策建立版本
- 對工具進行單元測試
- 重播評估
- 安全測試（提示注入、資料外洩）
- Canary
- 正式環境追蹤
AgentCore、Agent Engine 或 Foundry Agent Service；OpenTelemetry 追蹤；CI 中的評估測試套件。
資料管線
- 擷取
- 驗證
- 版本
- 轉換與嵌入
- 索引
- 資料血緣
AWS Glue、Dataflow 或 Data Factory；Airflow 或 Dagster；Bedrock Knowledge Bases、Vertex AI Search 或 Azure AI Search；OpenLineage。
管線透過 GitHub Actions 或 GitLab 的 OIDC 聯合身分驗證，使用短期雲端憑證執行，絕不儲存存取金鑰。
保護 LLM 與代理程式 API
LLM 端點是一個可以被「說服」去做事的 API。我們像保護任何關鍵 API 一樣保護它，再加上 AI 專屬的控制措施。
01
驗證
- 適用於使用者與服務的 OAuth 2.0 / OIDC
- 服務之間的 mTLS
- 程式碼中不放靜態 API 金鑰；金鑰存放於具輪替功能的密鑰管理工具
02
閘道控制
- 每位使用者與租戶的速率限制與 token 預算
- 請求大小與上下文限制
- 公開端點前方設置 WAF
03
提示詞與輸出安全
- 在輸入與輸出端設置 Guardrails、Model Armor 或 Content Safety
- 對擷取的文件與工具結果進行提示注入偵測
- 記錄前先遮蔽個人識別資訊
04
私有網路
- 模型 API 的私有端點
- 代理與工具的出口白名單
- 模型伺服器不使用公開 IP
05
資料保護
- 客戶自管金鑰
- 檢索時依租戶與文件層級控管存取
- 視需要將資料保留於英國或歐盟區域
06
稽核與應變
- 每個提示詞、工具呼叫與回應皆可追溯
- 異常用量或成本警示
- 經過演練的事件與金鑰撤銷操作手冊
AI 代理程式 harness
代理程式就是模型加上控制框架：由程式碼決定它能看到什麼、能呼叫哪些工具，以及何時必須由人核准。安全性與可靠性就取決於這個控制框架。
工具登錄
每個工具都宣告了 Schema、負責人與權限範圍；MCP 伺服器置於驗證機制之後。
最小權限
每個代理只取得其任務所需的工具與資料，且憑證僅限於其代表的使用者範圍。
沙箱化執行
程式碼與 Shell 工具在隔離的容器中執行，不具持續性的網路存取權。
人員參與迴路
付款、刪除、對外電子郵件以及任何不可逆操作都需經核准。
預算與限制
每項任務皆設有步驟數、Token、時間與花費上限，達到上限時會乾淨地失敗。
評估與追蹤
錄製的執行過程會在 CI 中重播，正式環境中的每個步驟皆受追蹤，以便除錯與稽核。
AI 的身分識別與驗證
代理代表人員與系統行事，因此需要正式的身分識別，而非共用金鑰。
使用者
透過您的身分提供者（Entra ID、Google Workspace、Okta）進行單一登入，支援 SAML 或 OIDC、MFA 與 SCIM 佈建。
工作負載
雲端原生工作負載身分識別：AWS IAM 角色與 EKS Pod Identity、Google Workload Identity Federation、Azure 受控身分識別。
智慧體
具備各自範圍權限的代理身分，例如 Bedrock AgentCore Identity 與 Microsoft Entra Agent ID，並支援針對使用者操作的代理授權（on-behalf-of delegation）。
工具與 MCP
適用於 MCP 伺服器與第三方工具的 OAuth 2.1、短效權杖以及逐工具同意機制。
CI/CD
從您的 CI 到各家雲端的 OIDC 聯合驗證，讓管線不必持有長期機密。
機密
為所有必須保密的內容提供保管庫，並具備輪替與稽核功能，例如我們的 WSL Vault 或雲端自身的機密管理服務。
最佳化雲端上的 AI 工作負載
- 選對模型做對事：簡單請求交給小型模型，把前沿模型留給困難的請求。
- 盡可能快取一切：提示詞與上下文快取、嵌入快取，以及針對重複問題的回應快取。
- 批次離線工作：批次 API，以及搭配檢查點的 Spot 或可中斷 GPU。
- 高效能地提供開放模型服務：在 GPU 雲端上使用 vLLM 或 TensorRT-LLM，搭配量化與連續批次處理。
- 依正確的訊號自動擴縮：佇列深度與每秒 token 數，而非 CPU。
- 混合式設計：穩定且敏感的工作負載放在您自己的 GPU 上，突發需求與實驗則放在雲端。
由 Workstation 團隊提供支援
我們保持平台中立。我們協助您選擇，並在上述任一雲端上，搭配您自己的硬體，進行 AI 的設計、保護、部署與營運。
- 架構與平台選型，包含成本建模
- 具備身分識別、網路與加密的登陸區
- Bedrock、Vertex AI 與 Azure AI Foundry 解決方案與代理
- 在 GPU 雲端上建置 GPU 叢集
- CI/CD、評估與環狀發布
- LLM 與代理 API 的安全審查
- 結合地端 Workstation 硬體的混合式架構
標誌為各所有者之商標，僅用於識別各平台，並取自 Wikimedia Commons。圖表由 Workstation 團隊製作。