Balinder WaliaKubeflow (train / evaluate / register) কে Argo CD (GitOps deliver / rollback)-এর সাথে জোড়ার ব্যবহারিক গাইড। পূর্ণ architecture, manifests ও anti-patterns-এর জন্য পড়ুন দীর্ঘ article.
InferenceService, pipeline definition এবং platform component Git থেকে reconcile হয়। Kubeflow-এ train ও evaluate করুন; Git manifest আপডেট করে promote করুন; roll back করুন git revert। Models রাখুন object storage-এ — Git URIs ও config রাখে, weights নয়।
দুই tools কেন?
Kubeflow উত্তর দেয়: GPUs-এ reproducible training ও evaluation কীভাবে চালাবেন? Argo CD উত্তর দেয়: resulting model কীভাবে snowflake clusters ছাড়া production-এ পাঠাবেন? শুধু Kubeflow ব্যবহার প্রায়শই manual-এ শেষ হয় kubectl apply serving-এর জন্য। শুধু Argo CD ব্যবহার করলে first-class ML pipeline ও experiment system থাকে না। একসাথে তারা বন্ধ MLOps loop গঠন করে।
শ্রমের বিভাজন
| উদ্বেগ | টুল | Git-এ কী থাকে |
|---|---|---|
| Pipeline DAGs, TrainJobs, experiments | Kubeflow Pipelines / Trainer | Pipeline YAML / component specs |
| Model artifacts ও lineage | Model Registry + object storage | URI + metadata — weights file নয় |
| Serving, canaries, rollbacks | KServe + Argo CD | InferenceService overlays |
| Platform install ও upgrades | Argo CD Applications | Kubeflow নিজের জন্য Helm/Kustomize |
End-to-end loop (ভালো দেখতে কেমন)
- Data scientist pipeline পরিবর্তন merge করে → Argo CD pipeline CRDs sync করে।
- Kubeflow GPU nodes-এ training চালায় (ঐচ্ছিকভাবে Kueue দিয়ে queued)।
- Evaluation gates পাস → model URI registered; একটি PR prod আপডেট করে
InferenceServicestorageUri. - Argo CD OutOfSync শনাক্ত করে এবং rollout করে (আগে canary traffic)।
- Drift বা খারাপ metrics →
git revertআগের URI restore করে; Argo CD reconcile করে।
পাঁচটি practices যা যন্ত্রণা বাঁচায়
- আলাদা repos বা folders: platform (Kubeflow install) বনাম apps (pipelines + InferenceServices)।
- Model binaries কখনো commit করবেন না — রেফারেন্স
s3:///gs:/// PVC URIs। - Sync waves: KFP components-এর আগে MySQL/MinIO (বা managed equivalents)।
- প্রতিটি ধাপে resource limits — সীমাহীন training jobs clusterকে ক্ষুধার্ত করবে।
- Promotion = PR, notebook-এর বাটন নয়। Audit trail বিনামূল্যে আসে।
যখন এই stack overkill
SME chatbot-এর জন্য Ollama চালানো একটি Mac Studio-এর Kubeflow + Argo CD দরকার নেই। এই pattern নিন যখন একাধিক models, GPU contention, compliance চাহিদা, বা একাধিক environment (dev/staging/prod) একরকম রাখতে হয়।
দীর্ঘ সংস্করণ পড়ুন
The দীর্ঘ article 2026 Kubernetes MLOps map (KFP v2, Trainer, KServe, Kueue), Argo CD Application patterns, promotion gates, canary serving, GPU FinOps এবং rollout checklist কভার করে। প্রকাশিত Workstation.