Balinder WaliaПрактический гайд по связке Kubeflow (train / evaluate / register) с Argo CD (GitOps deliver / rollback). Полная архитектура, манифесты и антипаттерны — читайте длинная статья.
InferenceService, определение pipeline и platform-компонент reconciliруются из Git. Обучайте и оценивайте в Kubeflow; продвигайте обновлением Git-манифеста; откатывайте через git revert. Держите модели в object storage — Git хранит URI и config, не веса.
Зачем оба инструмента?
Kubeflow отвечает: как вести воспроизводимое обучение и evaluation на GPU? Argo CD отвечает: как доставить полученную модель в production без snowflake-кластеров? Только Kubeflow часто заканчивается ручным kubectl apply для serving. Только Argo CD оставляет вас без первоклассного ML pipeline и системы экспериментов. Вместе они замыкают MLOps-цикл.
Разделение труда
| Concern | Tool | Что живёт в Git |
|---|---|---|
| Pipeline DAGs, TrainJobs, experiments | Kubeflow Pipelines / Trainer | Pipeline YAML / component specs |
| Артефакты модели и lineage | Model Registry + object storage | URI + metadata — не файл весов |
| Serving, canaries, rollbacks | KServe + Argo CD | InferenceService overlays |
| Установка платформы и upgrades | Argo CD Applications | Helm/Kustomize для самого Kubeflow |
End-to-end цикл (как выглядит хороший)
- Data scientist мержит изменение pipeline → Argo CD синхронизирует pipeline CRD.
- Kubeflow запускает обучение на GPU-нодах (опционально в очереди через Kueue).
- Evaluation gates пройдены → URI модели зарегистрирован; PR обновляет prod
InferenceServicestorageUri. - Argo CD видит OutOfSync и выкатывает (сначала canary-трафик).
- Drift или плохие метрики →
git revertвосстанавливает предыдущий URI; Argo CD reconciles.
Пять практик, которые экономят боль
- Отдельные репозитории или папки: platform (установка Kubeflow) vs apps (pipelines + InferenceServices).
- Никогда не коммитьте бинарники моделей — reference
s3:///gs:/// PVC URIs. - Sync waves: MySQL/MinIO (или managed-эквиваленты) до компонентов KFP.
- Resource limits на каждом шаге — training jobs без лимитов задушат кластер.
- Promotion = PR, не кнопка в notebook. Audit trail идёт бесплатно.
Когда этот стек избыточен
Один Mac Studio с Ollama для чат-бота SME не нуждается в Kubeflow + Argo CD. Берите этот паттерн, когда несколько моделей, конкуренция за GPU, требования compliance или больше одной среды (dev/staging/prod), которые должны оставаться идентичными.
Читать длинную версию
The длинная статья охватывает карту Kubernetes MLOps 2026 (KFP v2, Trainer, KServe, Kueue), паттерны Argo CD Application, promotion gates, canary serving, GPU FinOps и чеклист rollout. Опубликовано Workstation.