ਸ਼ਾਪ ਚਾਲੂ ਹੈ

ਅਸੀਂ ਵੈੱਬਸਾਈਟਾਂ, AI ਏਜੰਟਾਂ ਅਤੇ LLM ਟ੍ਰੇਨਿੰਗ ਲਈ Workstation AI ਮਸ਼ੀਨਾਂ ਬਣਾਉਂਦੇ ਹਾਂ — ਆਨਲਾਈਨ ਸੰਰਚਿਤ ਕਰੋ ਅਤੇ ਖਰੀਦੋ।

ਟ੍ਰੇਡ ਕੀਮਤਾਂ ਪ੍ਰਾਪਤ ਕਰੋ
AI ਉਤਪਾਦ
AI ਲੈਬਜ਼OpenAI ਏਜੰਟClaude ਏਜੰਟGrok BotWorkstation AI ਨੇਟਿਵ CRMਮਾਰਕੀਟਿੰਗਸਾਰੇ ਉਤਪਾਦ
AI ਹੱਲ
ਲਾਗੂ AIAI ਏਜੰਟਜਨਰੇਟਿਵ AIAI ਆਟੋਮੇਸ਼ਨAI ਹੁਨਰ ਵਿਕਾਸSME ਲਈ AI ਪੈਕੇਜਐਂਟਰਪ੍ਰਾਈਜ਼ AI ਲੈਬAI ਵਰਕਸਟੇਸ਼ਨNVIDIA ਹਾਰਡਵੇਅਰ ਅਤੇ ਸਾਫਟਵੇਅਰNVIDIA ਐਕਸਲਰੇਟਿਡ ਕੰਪਿਊਟਿੰਗਪ੍ਰਾਈਵੇਟ AIGPU ਕਲੱਸਟਰਐਜ AIਉਦਯੋਗ ਅਨੁਸਾਰ AI
AI ਸੇਵਾਵਾਂ
ਪਲੇਟਫਾਰਮ ਆਧੁਨਿਕੀਕਰਨਡਿਜੀਟਲ ਇੰਜੀਨੀਅਰਿੰਗਡਾਟਾ ਬੁਨਿਆਦ ਅਤੇ AIਖੁਦਮੁਖਤਿਆਰ ਕਾਰਵਾਈਆਂAI ਸਲਾਹDevOps ਆਟੋਮੇਸ਼ਨਸਾਈਬਰ ਸੁਰੱਖਿਆਸਾਫਟਵੇਅਰ ਵਿਕਾਸਏਜੰਟ ਨਿਰਮਾਣMLOps ਸੈੱਟਅੱਪGPU ਲੀਜ਼ਿੰਗ
ਸਾਡੇ ਬਾਰੇ
ਕੰਪਨੀਸਾਡੀ ਕਹਾਣੀਭਾਈਵਾਲਗਾਹਕ ਕਹਾਣੀਆਂ
AI ਡਾਟਾ ਸੈਂਟਰ
AI ਜਾਣਕਾਰੀJev ਲੜੀਬੈਂਚਮਾਰਕ ਲੈਬਮਾਡਲ ਚੋਣ
ਤਕਨੀਕੀ ਨੋਟਸ
ਦਸਤਾਵੇਜ਼ੀਕਰਨ
Linux OSUbuntuRed Hat Enterprise LinuxSUSE LinuxAlpine LinuxDebian, Rocky & AlmaLinux
AI ਕਲਾਉਡ ਪਲੇਟਫਾਰਮAWS & Amazon BedrockGoogle Cloud & Vertex AIMicrosoft Azure & AI FoundryGPU ਕਲਾਉਡ ਅਤੇ ਮਾਰਕੀਟਪਲੇਸ
ਨਿੱਜੀ AI ਡਾਟਾ ਸੈਂਟਰਕਾਨੂੰਨੀ ਫਰਮਾਂ ਲਈਅਕਾਊਂਟਿੰਗ ਫਰਮਾਂ ਲਈਆਨ-ਪ੍ਰੇਮਿਸਿਸ ਪਲੇਟਫਾਰਮਪੂਰੀ ਤਰ੍ਹਾਂ ਸੁਰੱਖਿਅਤ ਕਲਾਉਡ
ਟੂਲRing PromoterJobshout
ਖ਼ਬਰਾਂ
ਬਲੌਗ
ਸਾਡੇ ਨਾਲ ਸੰਪਰਕ ਕਰੋਸਾਈਨ ਇਨ

ਆਧੁਨਿਕ ਕਾਰੋਬਾਰਾਂ ਲਈ AI ਵਰਕਸਟੇਸ਼ਨ, AI ਮਲਟੀ-ਏਜੰਟਿਕ ਸਾਫਟਵੇਅਰ, GPU ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਅਤੇ ਬੁੱਧੀਮਾਨ ਏਜੰਟ ਹੱਲ।

ਸਾਡੇ ਨਾਲ ਸੰਪਰਕ ਕਰੋ

AI ਹੱਲ

ਲਾਗੂ AIAI ਏਜੰਟਜਨਰੇਟਿਵ AIAI ਆਟੋਮੇਸ਼ਨAI ਹੁਨਰ ਵਿਕਾਸSME ਲਈ AI ਪੈਕੇਜਐਂਟਰਪ੍ਰਾਈਜ਼ AI ਲੈਬਉਦਯੋਗ ਅਨੁਸਾਰ AI

ਉਤਪਾਦ

ਸਾਰੇ ਉਤਪਾਦWorkstation AI native CRM ਅਤੇ ERPਮਾਰਕੀਟਿੰਗOpenAI ਏਜੰਟRing PromoterJobshout

ਕੰਪਨੀ

ਸਾਡੇ ਬਾਰੇਕੰਪਨੀAI ਡਾਟਾ ਸੈਂਟਰWorkstation ਕਿਉਂਭਾਈਵਾਲਗਾਹਕ ਕਹਾਣੀਆਂਕੀਮਤਾਂਸੰਪਰਕTenthMatrix

ਸਰੋਤ

AI ਜਾਣਕਾਰੀਤਕਨੀਕੀ ਨੋਟਸਦਸਤਾਵੇਜ਼ੀਕਰਨLinux OSAI ਕਲਾਉਡ ਪਲੇਟਫਾਰਮਨਿੱਜੀ AI ਡਾਟਾ ਸੈਂਟਰਬਲੌਗਖੋਜੋਸਾਈਟਮੈਪ
ਯੂਕੇ ਦਫ਼ਤਰ
77-79 Marlowes, Hemel Hempstead HP1 1LFਦਿਸ਼ਾ-ਨਿਰਦੇਸ਼ - M25 ਆਊਟਰ ਲੰਡਨ ਤੋਂ ਜੰਕਸ਼ਨ 20 ਲਵੋਕੰਪਨੀ ਨੰ.: 11641870ਸੋਮ - ਸ਼ੁੱਕਰ: ਸਵੇਰੇ 9:00 - ਸ਼ਾਮ 6:00 GMT
+44 7515 356 146
ਬੈਲਜੀਅਮ ਦਫ਼ਤਰ
Workstation SRL, Rue Vanderkindere 34, 1180 Uccle, BrusselsBE 0751.518.683ਸੋਮ - ਸ਼ੁੱਕਰ: ਸਵੇਰੇ 9:00 - ਸ਼ਾਮ 6:00 CET
+32 492 45 67 46
ਭਾਰਤ ਦਫ਼ਤਰ
#159 Sector 9, Pocket 1, DDA Flats, 110077 Dwarka, New Delhi
+91 98881 98841

© 2026 Workstation AI। ਸਾਰੇ ਹੱਕ ਰਾਖਵੇਂ ਹਨ।

ਪ੍ਰਾਈਵੇਸੀਡਾਟਾ ਮਿਟਾਉਣਾਕੁਕੀਜ਼ਸੇਵਾ ਦੀਆਂ ਸ਼ਰਤਾਂਵੈੱਬਸਾਈਟ ਸਾਈਟਮੈਪ

NVIDIA, the NVIDIA logo, RTX, RTX PRO, Blackwell, CUDA, NVLink, MGX, Omniverse, Spectrum-X, Quantum, BlueField, DGX and HGX are trademarks and/or registered trademarks of NVIDIA Corporation in the US and other countries. AMD, the AMD Arrow logo, EPYC, Instinct, Ryzen and Threadripper are trademarks of Advanced Micro Devices, Inc. Dell and PowerEdge are trademarks of Dell Inc. or its subsidiaries. Intel and Xeon are trademarks of Intel Corporation or its subsidiaries. AMAX, AceleMax and LiquidMax are trademarks of AMAX Engineering Corporation. All other product names, logos and brands are the property of their respective owners. We use them only to identify the products we describe, supply or support; their use does not mean their owners endorse us.

ਹੋਮ / ਤਕਨੀਕੀ ਨੋਟਸ / Technology
MLOpsKubernetesDevOps

Kubeflow + Argo CD: Kubernetes ਉੱਤੇ GitOps MLOps

Kubeflow Pipelines, Trainer, KServe ਅਤੇ Kueue ਨਾਲ Argo CD GitOps ਦਾ ਆਰਕੀਟੈਕਚਰ ਨਕਸ਼ਾ: Git ਲੇਆਉਟ, sync waves, ਪ੍ਰੋਮੋਸ਼ਨ ਗੇਟ, canary serving, GPU FinOps ਅਤੇ ਰੋਲਆਉਟ ਚੈੱਕਲਿਸਟ

20 ਜੁਲਾਈ 2026Technology7 min read

ਇਹ ਲੰਬਾ ਹਵਾਲਾ ਹੈ। ਪੰਜ ਮਿੰਟ ਦੀ ਝਲਕ ਲਈ ਸਾਥੀ ਬਲੌਗ ਵੇਖੋ।

Kubernetes ਉੱਤੇ Kubeflow ਅਤੇ Argo CD GitOps MLOps

1. ਜਾਣ-ਪਛਾਣ: MLOps ਨੂੰ ਦੋ ਕੰਟਰੋਲ ਪਲੇਨ ਚਾਹੀਦੇ ਹਨ

Kubernetes ਉੱਤੇ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਦੋ ਅਨੁਮਾਨਯੋਗ ਤਰੀਕਿਆਂ ਨਾਲ ਫੇਲ ਹੁੰਦੀ ਹੈ। ਟੀਮਾਂ ਜਾਂ ਤਾਂ ਟ੍ਰੇਨਿੰਗ ਨੂੰ ਬਿਨਾਂ lineage ਵਾਲੇ ad-hoc Jobs ਦੇ ਸੰਗ੍ਰਹਿ ਵਜੋਂ ਲੈਂਦੀਆਂ ਹਨ, ਜਾਂ serving ਨੂੰ ਬਿਨਾਂ ਆਡਿਟ ਟ੍ਰੇਲ ਵਾਲੇ ਇੱਕ-ਵਾਰੀ kubectl apply ਵਜੋਂ। Kubeflow ਅਤੇ Argo CD ਉਸ ਸਮੱਸਿਆ ਦੇ ਉਲਟ ਅੱਧੇ ਹਿੱਸੇ ਹੱਲ ਕਰਦੇ ਹਨ।

Kubeflow ML ਕੰਟਰੋਲ ਪਲੇਨ ਹੈ: pipelines, ਵੰਡੀ ਟ੍ਰੇਨਿੰਗ, ਤਜਰਬਾ ਟ੍ਰੈਕਿੰਗ, model registry ਅਤੇ KServe। Argo CD ਡਿਲੀਵਰੀ ਕੰਟਰੋਲ ਪਲੇਨ ਹੈ: pull-based GitOps ਤਾਂ ਜੋ ਕਲੱਸਟਰ ਸਥਿਤੀ Git ਨਾਲ ਮਿਲੇ — Kubeflow ਪਲੇਟਫਾਰਮ ਖੁਦ ਅਤੇ ਹਰ ਪ੍ਰੋਡਕਸ਼ਨ InferenceService ਸਮੇਤ।

ਇਹ ਲੇਖ ਪਲੇਟਫਾਰਮ ਅਤੇ MLOps ਇੰਜੀਨੀਅਰਾਂ ਲਈ ਅਮਲੀ ਆਰਕੀਟੈਕਚਰ ਗਾਈਡ ਹੈ। ਇਹ Kubernetes ਜਾਣਕਾਰੀ ਅਤੇ ਮੁੱਢਲੀ GitOps ਸਮਝ ਮੰਨਦਾ ਹੈ (ਸਾਡਾ ਪਹਿਲਾਂ ਵਾਲਾ Argo CD & Flux continuous delivery ਪੋਸਟ ਵੇਖੋ)। ਇੱਥੇ ਅਸੀਂ 2026 ਵਿੱਚ ML ਵਰਕਲੋਡ ਲਈ ਦੋਵੇਂ ਸਿਸਟਮ ਕਿਵੇਂ ਜੁੜਦੇ ਹਨ ਉੱਤੇ ਧਿਆਨ ਦਿੰਦੇ ਹਾਂ।

2. 2026 Kubernetes MLOps ਨਕਸ਼ਾ

ਲਾਈਫਸਾਈਕਲ ਪੜਾਅ ਟੂਲ ਭੂਮਿਕਾ
Pipeline ਆਰਕੈਸਟ੍ਰੇਸ਼ਨKubeflow Pipelines 2.xਕੰਟੇਨਰਾਈਜ਼ਡ ਕਦਮਾਂ ਦਾ DAG; ਟ੍ਰੈਕਡ runs
ਵੰਡੀ ਟ੍ਰੇਨਿੰਗKubeflow Trainer (TrainJob)PyTorch / JAX / XGBoost / DeepSpeed jobs
GPU ਕਤਾਰKueue (+ optional Volcano)ਨਿਰਪੱਖ ਹਿੱਸਾ, gang scheduling, ਕੋਟਾ
ਮਾਡਲ servingKServeਆਟੋਸਕੇਲ InferenceService; canary splits
ਆਟੋਸਕੇਲਿੰਗKEDA + HPAਇਵੈਂਟ-ਡ੍ਰਿਵਨ ਸਕੇਲ, scale-to-zero ਸਮੇਤ
ਡਿਲੀਵਰੀ ਅਤੇ ਰੋਲਬੈਕArgo CDmanifests ਲਈ Git ਸੱਚ ਦਾ ਸਰੋਤ
ਔਬਜ਼ਰਵੇਬਿਲਟੀPrometheus / Grafana / drift toolsਇਨਫਰਾ + ਮਾਡਲ ਗੁਣਵੱਤਾ ਸਿਗਨਲ

ਕੁਝ pipeline backends ਦੇ ਹੇਠਾਂ ਅਜੇ ਵੀ Argo Workflows ਦਿਖਦਾ ਹੈ, ਪਰ authoring ਲਈ Kubeflow Pipelines IR / v2 ਅਤੇ Kubernetes ਸਰੋਤਾਂ ਦੀ continuous delivery ਲਈ Argo CD ਸੋਚੋ — «Argo Workflows» ਨੂੰ «Argo CD» ਨਾਲ ਨਾ ਰਲਾਓ।

3. ਸਾਫ਼ ਮਾਲਕੀ: Kubeflow ਕੀ ਕਰਦਾ ਹੈ ਬਨਾਮ Argo CD ਕੀ ਕਰਦਾ ਹੈ

3.1 Kubeflow ਦੀ ਮਾਲਕੀ

  • ਟ੍ਰੇਨਿੰਗ / ETL / ਮੁਲਾਂਕਣ DAGs ਲਿਖਣਾ ਅਤੇ ਚਲਾਉਣਾ
  • GPU ਜਾਬ ਲਾਈਫਸਾਈਕਲ ਅਤੇ ਤਜਰਬਾ ਮੈਟਾਡੇਟਾ
  • Model Registry ਵਿੱਚ ਮਾਡਲ ਸੰਸਕਰਣ ਅਤੇ lineage ਰਜਿਸਟਰ ਕਰਨਾ
  • ਇਹ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨਾ ਕਿ ਮਾਡਲ ਕਿਵੇਂ ਸਰਵ ਹੋ ਸਕਦਾ ਹੈ (runtime, ਸਰੋਤ) — ਅਕਸਰ ਜਨਰੇਟਡ manifests ਰਾਹੀਂ

3.2 Argo CD ਦੀ ਮਾਲਕੀ

  • Kubeflow ਘਟਕ ਇੰਸਟਾਲ ਅਤੇ ਅੱਪਗ੍ਰੇਡ (GitOps ਪਲੇਟਫਾਰਮ)
  • ਟ੍ਰੇਨਿੰਗ ਸ਼ੁਰੂ ਕਰਨ ਵਾਲੀਆਂ pipeline ਪਰਿਭਾਸ਼ਾਵਾਂ ਅਤੇ CronWorkflows ਸਿੰਕ ਕਰਨਾ
  • ਵਾਤਾਵਰਣਾਂ ਵਿੱਚ InferenceService ਤਬਦੀਲੀਆਂ ਪ੍ਰੋਮੋਟ ਕਰਨਾ
  • Git ਇਤਿਹਾਸ ਰਾਹੀਂ ਤੁਰੰਤ, ਆਡਿਟ-ਯੋਗ ਰੋਲਬੈਕ
ਸਖ਼ਤ ਨਿਯਮ। ਵੱਡੇ ਬਾਈਨਰੀ (datasets, checkpoints, ONNX/SafeTensors ਵਜ਼ਨ) ਕਦੇ Git ਵਿੱਚ ਨਹੀਂ ਜਾਂਦੇ। ਉਨ੍ਹਾਂ ਨੂੰ S3/GCS/MinIO/PVC ਵਿੱਚ ਰੱਖੋ। Git ਵਿੱਚ ਪੁਆਇੰਟਰ (storageUri, digest, tags) ਅਤੇ ਉਹ Kubernetes YAML ਰਹਿੰਦਾ ਹੈ ਜੋ Argo CD ਲਾਗੂ ਕਰਦਾ ਹੈ।

4. ਸਿਫ਼ਾਰਸ਼ੀ Git ਲੇਆਉਟ

ml-platform/                 # Argo CD App: install Kubeflow once
  overlays/
    staging/
    production/
ml-apps/                     # Argo CD App-of-Apps or projects
  pipelines/
    fraud-detector/
  serving/
    fraud-detector/
      base/inferenceservice.yaml
      overlays/
        staging/
        production/
  components/                # reusable KFP components (OCI or YAML)

platform ਅਤੇ application ਸਿੰਕ ਵੱਖ ਰੱਖੋ। ਡਾਟਾ ਸਾਇੰਟਿਸਟ ml-apps ਖਿਲਾਫ਼ PR ਖੋਲਦੇ ਹਨ; ਪਲੇਟਫਾਰਮ ਇੰਜੀਨੀਅਰ ml-platform ਦੇ ਮਾਲਕ ਹਨ। Argo CD Projects + RBAC ਵਰਤੋ ਤਾਂ ਜੋ ਖਰਾਬ pipeline PR Kubeflow ਕੰਟਰੋਲ ਪਲੇਨ ਨਾ ਲਿਖ ਸਕੇ।

5. Argo CD ਨਾਲ Kubeflow ਪ੍ਰਬੰਧਨ

ਮੈਨੂਅਲ Kubeflow ਇੰਸਟਾਲ ਨਾਜ਼ੁਕ ਹੁੰਦੇ ਹਨ: ਬਹੁਤ CRDs, ਕ੍ਰਮ ਰੁਕਾਵਟਾਂ ਅਤੇ ਅੱਪਗ੍ਰੇਡ ਰਾਹ। ਪਲੇਟਫਾਰਮ ਨੂੰ Argo CD Application (ਜਾਂ ApplicationSet) ਵਜੋਂ ਲਓ ਜਿਸ ਵਿੱਚ:

  • Sync waves — ਸਰਟੀਫਿਕੇਟ, ਸਟੋਰੇਜ, MySQL/Postgres (ਜਾਂ managed DB), MinIO/S3 ਕ੍ਰੇਡੈਂਸ਼ਲ, ਫਿਰ KFP / Trainer / KServe
  • Health checks — ਨਿਰਭਰ ਐਪਾਂ ਸਿੰਕ ਤੋਂ ਪਹਿਲਾਂ CRDs ਅਤੇ webhooks ਦੀ ਉਡੀਕ
  • ਪ੍ਰੋਡਕਸ਼ਨ ਵਿੱਚ managed ਸੇਵਾਵਾਂ — ਜਦੋਂ all-in-one ਡੈਮੋ ਤੋਂ ਅੱਗੇ ਵਧੋ ਤਾਂ in-cluster MySQL/MinIO ਨੂੰ Cloud SQL/RDS ਅਤੇ S3 ਨਾਲ ਬਦਲੋ

ਉਦਾਹਰਨ Application ਸਕੈਚ (ਉਦਾਹਰਨ ਲਈ):

apiVersion: argoproj.io/v1alpha1
kind: Application
metadata:
  name: kubeflow-platform
  namespace: argocd
  annotations:
    argocd.argoproj.io/sync-wave: "0"
spec:
  project: ml-platform
  source:
    repoURL: https://git.example.com/org/ml-platform.git
    targetRevision: main
    path: overlays/production
  destination:
    server: https://kubernetes.default.svc
    namespace: kubeflow
  syncPolicy:
    automated:
      prune: false
      selfHeal: true
    syncOptions:
      - CreateNamespace=true
      - ServerSideApply=true

6. Pipelines GitOps ਸਰੋਤ ਵਜੋਂ

Kubeflow Pipelines v2 / Kubernetes-native APIs ਨਾਲ, ਕੰਪਾਇਲਡ pipelines ਕਲੱਸਟਰ ਸਰੋਤਾਂ ਵਜੋਂ ਪ੍ਰਬੰਧਿਤ ਹੋ ਸਕਦੇ ਹਨ। ਵਰਕਫਲੋ ਬਣਦਾ ਹੈ:

  1. Python ਵਿੱਚ pipeline ਲਿਖੋ (KFP SDK)
  2. YAML ਵਿੱਚ ਕੰਪਾਇਲ ਕਰੋ
  3. ml-apps/pipelines/... ਵਿੱਚ ਕਮਿਟ ਕਰੋ
  4. Argo CD ਸਿੰਕ ਕਰਦਾ ਹੈ; runs UI, API, ਜਾਂ Git ਵਿੱਚ ਸਟੋਰ CronWorkflow ਨਾਲ ਟ੍ਰਿਗਰ ਹੁੰਦੇ ਹਨ

ਕਦਮਾਂ ਉੱਤੇ ਹਮੇਸ਼ਾ CPU, ਮੈਮੋਰੀ ਅਤੇ GPU ਹੱਦਾਂ ਸੈੱਟ ਕਰੋ। ਬੇਹੱਦ ਟ੍ਰੇਨਿੰਗ ਕਦਮ ਕਿਸੇ ਵੀ ਖਰਾਬ ਮਾਡਲ ਨਾਲੋਂ ਤੇਜ਼ੀ ਨਾਲ multi-tenant ਕਲੱਸਟਰ ਵਿਗਾੜਨਗੇ।

7. ਮਾਡਲ ਪ੍ਰੋਮੋਸ਼ਨ: registry → Git → Argo CD

ਇਹ ਮਹੱਤਵਪੂਰਨ ਹੈਂਡ-ਆਫ ਹੈ:

  1. ਟ੍ਰੇਨਿੰਗ ਰਨ ਖਤਮ; ਮੁਲਾਂਕਣ ਮੈਟ੍ਰਿਕਸ ਥ੍ਰੈਸ਼ਹੋਲਡ ਪੂਰੇ ਕਰਦੇ ਹਨ।
  2. Model Registry URI + ਮੈਟਾਡੇਟਾ (accuracy, fairness, signer) ਨਾਲ ਨਵਾਂ ਸੰਸਕਰਣ ਰਿਕਾਰਡ ਕਰਦਾ ਹੈ।
  3. ਆਟੋਮੇਸ਼ਨ (ਜਾਂ ਇਨਸਾਨ) serving overlay ਵਿੱਚ storageUri (ਅਤੇ ਇਮੇਜ ਟੈਗ / runtime) ਅੱਪਡੇਟ ਕਰਨ ਵਾਲਾ PR ਖੋਲਦਾ ਹੈ।
  4. ਮਰਜ ਤੋਂ ਬਾਅਦ Argo CD KServe ਰੋਲ ਆਉਟ ਕਰਦਾ ਹੈ। Canary ਤਰਜੀਹ ਦਿਓ: canaryTrafficPercent 10% ਸੈੱਟ ਕਰੋ, error rate ਅਤੇ latency ਵੇਖੋ, ਫਿਰ ਪ੍ਰੋਮੋਟ ਕਰੋ।
apiVersion: serving.kserve.io/v1beta1
kind: InferenceService
metadata:
  name: fraud-detector
spec:
  predictor:
    model:
      modelFormat:
        name: sklearn
      storageUri: s3://models/fraud/v1.4.2/
      resources:
        requests:
          cpu: "1"
          memory: 2Gi
        limits:
          cpu: "2"
          memory: 4Gi

ਰੋਲਬੈਕ ਡੈਸ਼ਬੋਰਡ ਕਲਿੱਕ ਨਹੀਂ — ਉਸ URI ਤਬਦੀਲੀ ਦਾ git revert ਹੈ। Argo CD ਕਲੱਸਟਰ ਨੂੰ ਪਿਛਲੀ desired state ਉੱਤੇ ਠੀਕ ਕਰਦਾ ਹੈ।

8. GPUs, ਕੋਟਾ ਅਤੇ FinOps

  • Kueue ਵਰਤੋ ਤਾਂ ਜੋ TrainJobs ਫੇਲ ਜਾਂ oversubscribe ਹੋਣ ਦੀ ਬਜਾਏ fair GPU ਸਮਰੱਥਾ ਦੀ ਉਡੀਕ ਕਰਨ।
  • ਜਦੋਂ ਸੰਭਵ ਹੋਵੇ, ਟ੍ਰੇਨਿੰਗ ਬਨਾਮ latency-ਸੰਵੇਦਨਸ਼ੀਲ inference ਲਈ node pools ਵੱਖ ਕਰੋ।
  • ਪ੍ਰਤੀ pipeline ਰਨ ਲਾਗਤ ਟ੍ਰੈਕ ਕਰੋ (GPU-seconds × ਰੇਟ)। GitOps FinOps ਨਹੀਂ ਹਟਾਉਂਦਾ — ਖਰਚ ਨੂੰ commit ਅਤੇ ਮਾਡਲ ਸੰਸਕਰਣ ਨਾਲ ਜੋੜਦਾ ਹੈ।
  • NVIDIA ਉੱਤੇ MIG / time-slicing ਲਈ ਪਲੇਟਫਾਰਮ ਰੈਪੋ ਵਿੱਚ ਪਾਰਟੀਸ਼ਨ ਰਣਨੀਤੀ ਦਸਤਾਵੇਜ਼ ਕਰੋ ਤਾਂ ਜੋ Argo CD-managed DevicePlugin ਕੌਨਫਿਗ ਇਕਸਾਰ ਰਹਿਣ।

9. ਸੁਰੱਖਿਆ ਅਤੇ multi-tenancy

  • Kubeflow Profiles ਟੀਮਾਂ ਅਲੱਗ ਕਰਦੇ ਹਨ; ਉਨ੍ਹਾਂ ਨੂੰ Argo CD Projects ਨਾਲ ਮੈਪ ਕਰੋ।
  • ਕਲਾਉਡ ਕ੍ਰੇਡੈਂਸ਼ਲ Sealed Secrets / External Secrets ਵਿੱਚ ਰੱਖੋ — Git ਵਿੱਚ ਕਦੇ plain ConfigMaps ਨਹੀਂ।
  • ਪ੍ਰੋਮੋਸ਼ਨ ਬੋਟ ਦੇ prod PR ਖੋਲਣ ਤੋਂ ਪਹਿਲਾਂ registry ਮੈਟਾਡੇਟਾ ਗੇਟ (ਜਿਵੇਂ fairness_score, sign_off_user) ਲਾਜ਼ਮੀ ਕਰੋ।
  • Network policies: ਟ੍ਰੇਨਿੰਗ ਜਾਬਾਂ ਨੂੰ unrestricted egress ਨਹੀਂ ਚਾਹੀਦਾ; serving pods ਨੂੰ ਸਿਰਫ ਮਾਡਲ ਸਟੋਰੇਜ ਅਤੇ ਕਲਾਇੰਟ ਚਾਹੀਦੇ ਹਨ।

10. ਪੌਡ ਮੈਟ੍ਰਿਕਸ ਤੋਂ ਅੱਗੇ ਔਬਜ਼ਰਵੇਬਿਲਟੀ

GPU ਉਪਯੋਗ ਉੱਤੇ Prometheus ਜ਼ਰੂਰੀ ਹੈ ਪਰ ਕਾਫ਼ੀ ਨਹੀਂ। ਜੋੜੋ:

  • Pipeline ਫੇਲਅਰ ਅਲਰਟ (ਰਨ ਸਥਿਤੀ, ਸਿਰਫ Deployment CrashLoop ਨਹੀਂ)
  • Serving SLO: latency, error rate, saturation
  • ਡਾਟਾ/ਮਾਡਲ drift ਮਾਨੀਟਰ ਜੋ ਟਿਕਟ ਖੋਲ ਸਕਣ ਜਾਂ ਟ੍ਰੇਨਿੰਗ CronWorkflow ਮੁੜ ਟ੍ਰਿਗਰ ਕਰ ਸਕਣ

ਜਦੋਂ drift ਫਾਇਰ ਹੋਵੇ, remediation ਰਾਹ ਫਿਰ ਵੀ GitOps ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ: ਨਵਾਂ ਰਨ → ਨਵਾਂ URI → PR → Argo CD sync — ਨੋਡ ਉੱਤੇ ਮੈਨੂਅਲ ਓਵਰਰਾਈਟ ਨਹੀਂ।

11. ਰੋਲਆਉਟ ਚੈੱਕਲਿਸਟ

  1. Argo CD ਇੰਸਟਾਲ ਕਰੋ; ml-platform ਅਤੇ ml-apps ਪ੍ਰੋਜੈਕਟ ਬਣਾਓ।
  2. Sync waves ਨਾਲ GitOps ਰਾਹੀਂ Kubeflow ਇੰਸਟਾਲ ਕਰੋ; KFP UI ਅਤੇ KServe CRDs ਤਸਦੀਕ ਕਰੋ।
  3. Object storage + Model Registry ਖੜਾ ਕਰੋ; URI ਕਨਵੈਨਸ਼ਨ ਦਸਤਾਵੇਜ਼ ਕਰੋ।
  4. ਇੱਕ golden path pipeline ਆਨਬੋਰਡ ਕਰੋ (train → evaluate → register)।
  5. ਪਹਿਲਾਂ staging overlay ਨਾਲ Argo CD ਹੇਠ ਇੱਕ InferenceService ਜੋੜੋ।
  6. Canary ਪ੍ਰੋਮੋਸ਼ਨ ਚਾਲੂ ਕਰੋ; git revert ਡ੍ਰਿਲ ਅਭਿਆਸ ਕਰੋ।
  7. ਮਲਟੀ-ਟੀਮ ਰੋਲਆਉਟ ਤੋਂ ਪਹਿਲਾਂ Kueue ਕੋਟਾ ਅਤੇ GPU FinOps ਡੈਸ਼ਬੋਰਡ ਜੋੜੋ।

12. ਐਂਟੀ-ਪੈਟਰਨ

  • «ਸਹੂਲਤ» ਲਈ 4 GB ਵਜ਼ਨ ਫਾਈਲਾਂ Git LFS ਵਿੱਚ ਕਮਿਟ ਕਰਨਾ
  • ਨੋਟਬੁੱਕ ਨੂੰ ਪ੍ਰੋਡਕਸ਼ਨ InferenceServices ਉੱਤੇ kubectl apply ਕਰਨ ਦੇਣਾ
  • ਇੱਕ Argo CD Application ਜੋ ਪਲੇਟਫਾਰਮ ਅਤੇ ਸਾਰੀਆਂ ਟੀਮ pipelines ਮਿਲਾਉਂਦੀ ਹੈ (blast radius)
  • ਟ੍ਰੇਨਿੰਗ ਕਦਮਾਂ ਉੱਤੇ ਕੋਈ resource limits ਨਹੀਂ
  • Argo Workflows (ਐਗਜ਼ੀਕਿਊਸ਼ਨ) ਨੂੰ Argo CD (desired-state sync) ਨਾਲ ਰਲਾਉਣਾ
  • Staging ਛੱਡਣਾ — ਲੈਪਟਾਪ ਤਜਰਬੇ ਤੋਂ ਸਿੱਧਾ prod ਟ੍ਰੈਫਿਕ ਉੱਤੇ ਪ੍ਰੋਮੋਟ

13. ਇਸ ਸਟੈਕ ਦੀ ਵਰਤੋਂ ਕਦੋਂ ਨਾ ਕਰੋ

ਵਰਕਸਟੇਸ਼ਨ ਉੱਤੇ ਇੱਕ ਪ੍ਰਾਈਵੇਟ LLM ਚਲਾਉਣ ਵਾਲੇ SME (ਸਾਡੇ AI SME Packages ਵੇਖੋ) ਨੂੰ ਪਹਿਲੇ ਦਿਨ Kubeflow + Argo CD ਦੀ ਲੋੜ ਨਹੀਂ। ਜਦੋਂ ਕਈ ਮਾਡਲ, ਸਮਕਾਲੀ GPU ਉਪਭੋਗੀ, ਨਿਯਮਿਤ change control, ਜਾਂ ਕਈ ਇੱਕੋ ਜਿਹੇ ਵਾਤਾਵਰਣ ਹੋਣ ਤਾਂ ਇਹ ਆਰਕੀਟੈਕਚਰ ਲਿਆਓ।

14. ਸਿੱਟਾ

Kubeflow ਅਤੇ Argo CD ਪੂਰਕ ਹਨ। Kubeflow Kubernetes ਉੱਤੇ ML ਕੰਮ ਨੂੰ ਚਲਾਉਣਯੋਗ ਅਤੇ ਦੁਬਾਰਾ ਉਤਪਾਦਨਯੋਗ ਬਣਾਉਂਦਾ ਹੈ। Argo CD ML ਇਨਫਰਾਸਟਰਕਚਰ ਅਤੇ ਮਾਡਲ serving ਨੂੰ ਘੋਸ਼ਣਾਤਮਕ, ਆਡਿਟ-ਯੋਗ ਅਤੇ ਉਲਟਾਉਣਯੋਗ ਬਣਾਉਂਦਾ ਹੈ। ਜਿੱਤਣ ਵਾਲਾ ਪੈਟਰਨ ਸਧਾਰਨ ਹੈ: object storage ਵਿੱਚ ਆਰਟੀਫੈਕਟ, Git ਵਿੱਚ ਪੁਆਇੰਟਰ ਅਤੇ YAML, Kubeflow ਵਿੱਚ ਟ੍ਰੇਨਿੰਗ, Argo CD ਵਿੱਚ ਡਿਲੀਵਰੀ ਅਤੇ ਰੋਲਬੈਕ।

ਸਾਥੀ ਬਲੌਗ ਸਾਂਝਾ ਕਰਨ ਯੋਗ ਸਾਰ ਹੈ; ਇਹ ਲੇਖ ਪਲੇਟਫਾਰਮ ਡਿਜ਼ਾਈਨ ਰੀਵਿਊ ਲਈ ਹਵਾਲਾ ਹੈ।

Workstation ਵੱਲੋਂ ਪ੍ਰਕਾਸ਼ਿਤ (workstation.co.uk)।


ਇਸ ਲੇਖ ਲਈ SEO ਸਨੈਪਸ਼ਾਟ

  • SEO ਸਿਰਲੇਖ: Kubeflow + Argo CD: Kubernetes ਉੱਤੇ GitOps MLOps
  • Meta description: Kubernetes ਉੱਤੇ ਟ੍ਰੇਨ-ਯੋਗ, ਆਡਿਟ-ਯੋਗ, ਰੋਲਬੈਕ-ਸੁਰੱਖਿਅਤ ML ਲਈ Kubeflow Pipelines, Model Registry ਅਤੇ KServe ਨੂੰ Argo CD GitOps ਨਾਲ ਕਿਵੇਂ ਜੋੜੀਏ।
  • ਪ੍ਰਾਇਮਰੀ ਕੀਵਰਡ: Kubeflow Argo CD, GitOps MLOps, KServe InferenceService, Kubeflow Pipelines GitOps, ML on Kubernetes
  • Twitter / X: Kubeflow ਟ੍ਰੇਨ ਕਰਦਾ ਹੈ। Argo CD ਡਿਲੀਵਰ ਕਰਦਾ ਹੈ। ਮਾਡਲ object storage ਵਿੱਚ ਰਹਿੰਦੇ ਹਨ; Git URI ਰੱਖਦਾ ਹੈ। Workstation ਤੋਂ ਪੂਰੀ GitOps MLOps ਗਾਈਡ।
  • LinkedIn: ਅਸੀਂ Kubeflow ਅਤੇ Argo CD ਜੋੜਨ ਉੱਤੇ ਡੂੰਘਾ ਵਿਸ਼ਲੇਸ਼ਣ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤਾ: platform vs apps Git ਲੇਆਉਟ, ਪ੍ਰੋਮੋਸ਼ਨ ਗੇਟ, canary serving, GPU ਕੋਟਾ ਅਤੇ git revert ਰਾਹੀਂ ਰੋਲਬੈਕ। Workstation ਇੰਜੀਨੀਅਰਿੰਗ ਤੋਂ।
ਇਹ ਲੇਖ ਸਾਂਝਾ ਕਰੋ

Technology ਵਿੱਚ ਹੋਰ

AI Is a Five-Layer Cake: What AI Is, How It Works and Why Every Layer Matters

AI Is a Five-Layer Cake: What AI Is, How It Works and Why Every Layer Matters

Jensen Huang's framework explained: energy, chips, infrastructure, models and applications, how each layer depends on the ones below, and what it means for your business.

ਹੋਰ ਪੜ੍ਹੋ
Jensen Huang on Building the Dynamo of the Intelligence Age: AI Factories, Tokens and Jobs

Jensen Huang on Building the Dynamo of the Intelligence Age: AI Factories, Tokens and Jobs

Notes on NVIDIA founder Jensen Huang's Sequoia Capital interview: why computing is moving from retrieval to generation, why AI factories are this era's dynamos, and why AI changes tasks rather than erasing jobs.

ਹੋਰ ਪੜ੍ਹੋ
Installing the NVIDIA Container Toolkit: Docker, containerd, CRI-O, Podman and Kubernetes

Installing the NVIDIA Container Toolkit: Docker, containerd, CRI-O, Podman and Kubernetes

Install the toolkit with apt, dnf or zypper, configure every container engine, use CDI, test GPU access, and fix the errors you will meet, with advice for running it across a fleet.

ਹੋਰ ਪੜ੍ਹੋ