Kubeflow + Argo CD: Kubernetes-এ GitOps MLOps

এটি দীর্ঘ রেফারেন্স। পাঁচ মিনিটের সারাংশের জন্য সহযোগী ব্লগ দেখুন।

1. ভূমিকা: MLOps-এর দুইটি কন্ট্রোল প্লেন দরকার

Kubernetes-এ মেশিন লার্নিং দুইটি অনুমানযোগ্য উপায়ে ব্যর্থ হয়। টিমগুলো হয় ট্রেনিংকে lineage ছাড়া ad-hoc Jobs-এর সংগ্রহ হিসেবে দেখে, নয় serving-কে অডিট ট্রেইল ছাড়া এককালীন kubectl apply হিসেবে। Kubeflow ও Argo CD সেই সমস্যার বিপরীত অর্ধাংশ সমাধান করে।

Kubeflow হলো ML কন্ট্রোল প্লেন: pipelines, বিতরণকৃত ট্রেনিং, পরীক্ষা ট্র্যাকিং, model registry ও KServe। Argo CD হলো ডেলিভারি কন্ট্রোল প্লেন: pull-based GitOps যাতে ক্লাস্টার অবস্থা Git-এর সাথে মিলে — Kubeflow প্ল্যাটফর্ম নিজে এবং প্রতিটি প্রোডাকশন InferenceService সহ।

এই নিবন্ধটি প্ল্যাটফর্ম ও MLOps ইঞ্জিনিয়ারদের জন্য ব্যবহারিক আর্কিটেকচার গাইড। এটি Kubernetes পরিচিতি ও মৌলিক GitOps বোঝাপড়া ধরে নেয় (আমাদের আগের Argo CD & Flux continuous delivery পোস্ট দেখুন)। এখানে আমরা ২০২৬-এ ML ওয়ার্কলোডের জন্য দুই সিস্টেম কীভাবে মিলে সেদিকে মনোযোগ দিই।

2. ২০২৬ Kubernetes MLOps মানচিত্র

কিছু pipeline backend-এর নিচে এখনও Argo Workflows দেখা যায়, কিন্তু authoring-এর জন্য Kubeflow Pipelines IR / v2 এবং Kubernetes রিসোর্সের continuous delivery-এর জন্য Argo CD ভাবুন — «Argo Workflows»-কে «Argo CD»-এর সাথে গুলিয়ে ফেলবেন না।

3. স্পষ্ট মালিকানা: Kubeflow কী করে বনাম Argo CD কী করে

3.1 Kubeflow মালিক

• ট্রেনিং / ETL / মূল্যায়ন DAG লেখ ও চালানো
• GPU জব লাইফসাইকেল ও পরীক্ষা মেটাডেটা
• Model Registry-তে মডেল সংস্করণ ও lineage নিবন্ধন
• মডেল কীভাবে serve হতে পারে তা নির্ধারণ (runtime, রিসোর্স) — প্রায়শই জেনারেটেড manifests দিয়ে

3.2 Argo CD মালিক

• Kubeflow কম্পোনেন্ট ইনস্টল ও আপগ্রেড (GitOps প্ল্যাটফর্ম)
• ট্রেনিং শুরু করা pipeline সংজ্ঞা ও CronWorkflows সিঙ্ক করা
• পরিবেশ জুড়ে InferenceService পরিবর্তন প্রমোট করা
• Git ইতিহাসের মাধ্যমে তাৎক্ষণিক, অডিটযোগ্য রোলব্যাক

4. সুপারিশকৃত Git লেআউট

ml-platform/                 # Argo CD App: install Kubeflow once
  overlays/
    staging/
    production/
ml-apps/                     # Argo CD App-of-Apps or projects
  pipelines/
    fraud-detector/
  serving/
    fraud-detector/
      base/inferenceservice.yaml
      overlays/
        staging/
        production/
  components/                # reusable KFP components (OCI or YAML)

platform ও application সিঙ্ক আলাদা রাখুন। ডেটা সায়েন্টিস্টরা ml-apps-এর বিরুদ্ধে PR খোলে; প্ল্যাটফর্ম ইঞ্জিনিয়াররা ml-platform মালিক। Argo CD Projects + RBAC ব্যবহার করুন যাতে খারাপ pipeline PR Kubeflow কন্ট্রোল প্লেন পুনর্লিখন করতে না পারে।

5. Argo CD দিয়ে Kubeflow ব্যবস্থাপনা

ম্যানুয়াল Kubeflow ইনস্টল ভঙ্গুর: অনেক CRDs, ক্রম সীমাবদ্ধতা ও আপগ্রেড পথ। প্ল্যাটফর্মকে Argo CD Application (বা ApplicationSet) হিসেবে দেখুন যাতে আছে:

• Sync waves — সার্টিফিকেট, স্টোরেজ, MySQL/Postgres (বা managed DB), MinIO/S3 ক্রেডেনশিয়াল, তারপর KFP / Trainer / KServe
• Health checks — নির্ভরশীল অ্যাপ সিঙ্কের আগে CRDs ও webhooks-এর জন্য অপেক্ষা
• প্রোডাকশনে managed সার্ভিস — all-in-one ডেমো ছাড়িয়ে গেলে in-cluster MySQL/MinIO-কে Cloud SQL/RDS ও S3 দিয়ে প্রতিস্থাপন

উদাহরণ Application স্কেচ (ব্যাখ্যামূলক):

apiVersion: argoproj.io/v1alpha1
kind: Application
metadata:
  name: kubeflow-platform
  namespace: argocd
  annotations:
    argocd.argoproj.io/sync-wave: "0"
spec:
  project: ml-platform
  source:
    repoURL: https://git.example.com/org/ml-platform.git
    targetRevision: main
    path: overlays/production
  destination:
    server: https://kubernetes.default.svc
    namespace: kubeflow
  syncPolicy:
    automated:
      prune: false
      selfHeal: true
    syncOptions:
      - CreateNamespace=true
      - ServerSideApply=true

6. Pipelines GitOps রিসোর্স হিসেবে

Kubeflow Pipelines v2 / Kubernetes-native APIs দিয়ে কম্পাইল করা pipelines ক্লাস্টার রিসোর্স হিসেবে পরিচালনা করা যায়। ওয়ার্কফ্লো হয়:

1. Python-এ pipeline লিখুন (KFP SDK)
2. YAML-এ কম্পাইল করুন
3. ml-apps/pipelines/...-এ কমিট করুন
4. Argo CD সিঙ্ক করে; runs UI, API, বা Git-এ থাকা CronWorkflow দিয়ে ট্রিগার হয়

ধাপে সর্বদা CPU, মেমরি ও GPU সীমা সেট করুন। সীমাহীন ট্রেনিং ধাপ যেকোনো খারাপ মডেলের চেয়ে দ্রুত multi-tenant ক্লাস্টার ব্যাহত করবে।

7. মডেল প্রমোশন: registry → Git → Argo CD

এটি গুরুত্বপূর্ণ হ্যান্ড-অফ:

1. ট্রেনিং রান শেষ; মূল্যায়ন মেট্রিক্স থ্রেশহোল্ড পূরণ করে।
2. Model Registry URI + মেটাডেটা (accuracy, fairness, signer) সহ নতুন সংস্করণ রেকর্ড করে।
3. অটোমেশন (বা মানুষ) serving overlay-এ storageUri (ও ইমেজ ট্যাগ / runtime) আপডেট করে PR খোলে।
4. মার্জের পর Argo CD KServe রোল আউট করে। Canary পছন্দ করুন: canaryTrafficPercent ১০% সেট করুন, error rate ও latency দেখুন, তারপর প্রমোট করুন।

apiVersion: serving.kserve.io/v1beta1
kind: InferenceService
metadata:
  name: fraud-detector
spec:
  predictor:
    model:
      modelFormat:
        name: sklearn
      storageUri: s3://models/fraud/v1.4.2/
      resources:
        requests:
          cpu: "1"
          memory: 2Gi
        limits:
          cpu: "2"
          memory: 4Gi

রোলব্যাক ড্যাশবোর্ড ক্লিক নয় — সেই URI পরিবর্তনের git revert। Argo CD ক্লাস্টারকে আগের desired state-এ ফেরায়।

8. GPUs, কোটা ও FinOps

• Kueue ব্যবহার করুন যাতে TrainJobs ব্যর্থ বা oversubscribe না হয়ে fair GPU ক্ষমতার অপেক্ষা করে।
• সম্ভব হলে ট্রেনিং বনাম latency-সংবেদনশীল inference-এর জন্য node pools আলাদা করুন।
• প্রতি pipeline রানের খরচ ট্র্যাক করুন (GPU-seconds × হার)। GitOps FinOps সরায় না — ব্যয়কে commit ও মডেল সংস্করণের সাথে যুক্ত করে।
• NVIDIA-এ MIG / time-slicing-এর জন্য প্ল্যাটফর্ম রেপোতে পার্টিশন কৌশল নথিভুক্ত করুন যাতে Argo CD-managed DevicePlugin কনফিগ সামঞ্জস্যপূর্ণ থাকে।

9. নিরাপত্তা ও multi-tenancy

• Kubeflow Profiles টিম আলাদা করে; তাদের Argo CD Projects-এ ম্যাপ করুন।
• ক্লাউড ক্রেডেনশিয়াল Sealed Secrets / External Secrets-এ রাখুন — Git-এ কখনো plain ConfigMaps নয়।
• প্রমোশন বট prod PR খোলার আগে registry মেটাডেটা গেট (যেমন fairness_score, sign_off_user) চাই।
• Network policies: ট্রেনিং জবের unrestricted egress দরকার নেই; serving pods-এর শুধু মডেল স্টোরেজ ও ক্লায়েন্ট দরকার।

10. পড মেট্রিক্সের বাইরে অবজারভেবিলিটি

GPU ব্যবহারের Prometheus জরুরি কিন্তু যথেষ্ট নয়। সংযুক্ত করুন:

• Pipeline ব্যর্থতার অ্যালার্ট (রান স্ট্যাটাস, শুধু Deployment CrashLoop নয়)
• Serving SLO: latency, error rate, saturation
• ডেটা/মডেল drift মনিটর যা টিকিট খুলতে বা ট্রেনিং CronWorkflow পুনরায় ট্রিগার করতে পারে

drift ফায়ার হলে remediation পথ তবু GitOps হওয়া উচিত: নতুন রান → নতুন URI → PR → Argo CD sync — নোডে ম্যানুয়াল ওভাররাইট নয়।

11. রোলআউট চেকলিস্ট

1. Argo CD ইনস্টল করুন; ml-platform ও ml-apps প্রজেক্ট তৈরি করুন।
2. Sync waves দিয়ে GitOps-এ Kubeflow ইনস্টল করুন; KFP UI ও KServe CRDs যাচাই করুন।
3. Object storage + Model Registry তুলুন; URI কনভেনশন নথিভুক্ত করুন।
4. একটি golden path pipeline অনবোর্ড করুন (train → evaluate → register)।
5. প্রথমে staging overlay দিয়ে Argo CD-এর অধীনে একটি InferenceService যোগ করুন।
6. Canary প্রমোশন চালু করুন; git revert ড্রিল অনুশীলন করুন।
7. মাল্টি-টিম রোলআউটের আগে Kueue কোটা ও GPU FinOps ড্যাশবোর্ড যোগ করুন।

12. অ্যান্টি-প্যাটার্ন

• «সুবিধার» জন্য ৪ GB ওজন ফাইল Git LFS-এ কমিট করা
• নোটবুককে প্রোডাকশন InferenceServices-এ kubectl apply করতে দেওয়া
• একটি Argo CD Application যা প্ল্যাটফর্ম ও সব টিম pipelines মিশায় (blast radius)
• ট্রেনিং ধাপে কোনো resource limits নেই
• Argo Workflows (এক্সিকিউশন) ও Argo CD (desired-state sync) গুলিয়ে ফেলা
• Staging এড়িয়ে যাওয়া — ল্যাপটপ পরীক্ষা থেকে সরাসরি prod ট্রাফিকে প্রমোট

13. এই স্ট্যাক কখন ব্যবহার করবেন না

ওয়ার্কস্টেশনে একটি প্রাইভেট LLM চালানো SME (আমাদের AI SME Packages দেখুন) প্রথম দিনে Kubeflow + Argo CD চায় না। একাধিক মডেল, সমবর্তী GPU ব্যবহারকারী, নিয়ন্ত্রিত change control, বা একাধিক অভিন্ন পরিবেশ থাকলে এই আর্কিটেকচার আনুন।

14. উপসংহার

Kubeflow ও Argo CD পরিপূরক। Kubeflow Kubernetes-এ ML কাজকে চালানো ও পুনরুৎপাদনযোগ্য করে। Argo CD ML অবকাঠামো ও মডেল serving-কে ঘোষণামূলক, অডিটযোগ্য ও বিপরীতযোগ্য করে। জয়ী প্যাটার্ন সহজ: object storage-এ আর্টিফ্যাক্ট, Git-এ পয়েন্টার ও YAML, Kubeflow-এ ট্রেনিং, Argo CD-এ ডেলিভারি ও রোলব্যাক।

সহযোগী ব্লগ শেয়ারযোগ্য সারাংশ; এই নিবন্ধটি প্ল্যাটফর্ম ডিজাইন রিভিউয়ের রেফারেন্স।

Workstation কর্তৃক প্রকাশিত (workstation.co.uk)।

এই নিবন্ধের SEO স্ন্যাপশট

• SEO শিরোনাম: Kubeflow + Argo CD: Kubernetes-এ GitOps MLOps
• Meta description: Kubernetes-এ প্রশিক্ষণযোগ্য, অডিটযোগ্য, রোলব্যাক-নিরাপদ ML-এর জন্য Kubeflow Pipelines, Model Registry ও KServe-কে Argo CD GitOps-এর সাথে কীভাবে যুক্ত করবেন।
• প্রাথমিক কীওয়ার্ড: Kubeflow Argo CD, GitOps MLOps, KServe InferenceService, Kubeflow Pipelines GitOps, ML on Kubernetes
• Twitter / X: Kubeflow ট্রেন করে। Argo CD ডেলিভার করে। মডেল object storage-এ থাকে; Git URI রাখে। Workstation-এর সম্পূর্ণ GitOps MLOps গাইড।
• LinkedIn: আমরা Kubeflow ও Argo CD জোড়ার উপর গভীর বিশ্লেষণ প্রকাশ করেছি: platform vs apps Git লেআউট, প্রমোশন গেট, canary serving, GPU কোটা ও git revert দিয়ে রোলব্যাক। Workstation ইঞ্জিনিয়ারিং থেকে।