最適合: 可縮減至零的推論 API,以及用於開發的快速 GPU Pod。
RunPod 上的請求路徑:在前端放置您自己的閘道與身分驗證,使用端點驗證,並將敏感工作留在 Secure Cloud。Serverless 工作節點隨請求擴縮;Community Cloud 主機則屬第三方。AI 服務
- 位於 Secure Cloud(資料中心合作夥伴)或 Community Cloud 的 Pod。
- 隨請求自動擴展的無伺服器 GPU 端點,以及適用於多節點工作的 Instant Clusters。
GPU 與加速器
- 廣泛的 NVIDIA 與 AMD GPU,從 RTX 顯示卡到 H100 及更新型號。
代理與身分
- API 金鑰與端點驗證;在前方設置您自己的閘道與身分驗證。
安全與資料
- 敏感資料請使用 Secure Cloud;Community Cloud 的主機屬於第三方。
擴展與最佳化
- 無伺服器工作節點會自動擴縮;設定最小工作節點數以避免冷啟動。
英國與歐盟區域
資料中心位於歐洲與北美;可依工作負載選擇區域。
注意事項
無伺服器端點的冷啟動;映像檔大小與模型載入時間都很重要。
Workstation 如何協助: 我們將模型打包以加快冷啟動,在前方設置經過驗證的閘道,並將端點接入 CI/CD。
以 Amazon Bedrock 大規模擴展 AI →雲端上適用於 LLM、代理程式與資料的 CI/CD →保護 LLM 與代理程式 API →AI 代理程式 harness →AI 的身分識別與驗證 →
我們合作的其他供應商
標誌為各所有者之商標,僅用於識別各平台,並取自 Wikimedia Commons。圖表由 Workstation 團隊製作。