Kurs · Schulung · Workshop
AI Workloads auf Kubernetes
AI- und ML-Workloads produktiv auf Kubernetes betreiben: GPU-Scheduling, Model Serving mit KServe/vLLM, KEDA-Autoscaling, Orchestrierung mit Kubeflow/Ray sowie GitOps für Modelle.
Dieser praxisorientierte Kurs zeigt Platform Engineers, DevOps Engineers und SREs, wie sie AI- und ML-Workloads zuverlässig auf Kubernetes betreiben. Im Zentrum steht nicht das Modell selbst, sondern die Kubernetes-Plattform darunter – GPU-Nodes einbinden und teilen, Inferenz-Dienste deklarativ ausrollen, Trainings- und Batch-Jobs orchestrieren und alles reproduzierbar über GitOps steuern. Die Teilnehmenden bauen von GPU-Scheduling mit dem NVIDIA GPU Operator über Model Serving mit KServe, Ray Serve und vLLM bis zu Autoscaling mit KEDA und Observability mit DCGM und Prometheus einen vollständigen, produktionsreifen AI-Plattform-Stack auf Kubernetes. Der Kurs verbindet Kubernetes-Betriebswissen mit den Besonderheiten von AI-Workloads – teure GPUs, grosse Modell-Artefakte, lange Batch-Läufe und stark schwankende Inferenz-Last.
Trainer
Stimmen unserer Teilnehmer:innen
Inhalt
Der Kurs besteht aus den folgenden Themen und kann je nach Publikum erweitert oder angepasst werden. Die Beispiele konzentrieren sich auf weit verbreitete, cloud-native AI/ML-Werkzeuge und Kubernetes-Betriebspraktiken. Für Inhouse-Kurse gibt es eine Auswahl an Technologien und Deployment-Szenarien, die gewählt werden können, um besser zum Publikum zu passen.
– Grundlagen: AI-Workloads auf Kubernetes:
- Warum Kubernetes für AI/ML-Workloads
- Workload-Typen: Inferenz, Training, Batch, Fine-Tuning
- Besonderheiten: GPUs, grosse Artefakte, schwankende Last
- Überblick über das Cloud-Native-AI-Ökosystem (CNCF, LF AI) – GPU-Nodes und Scheduling:
- GPU-Nodes, Node Pools, Taints und Tolerations
- NVIDIA GPU Operator: Treiber, Runtime, Device Plugin
- GPU-Sharing: Time-Slicing und Multi-Instance-GPU (MIG)
- Resource Requests, Limits und Resource Quotas für GPUs
- Scheduling-Strategien, Affinity und Topologie – Storage für Modelle und Daten:
- Persistent Volumes, Claims und CSI-Treiber
- Modell-Caching und Warm Starts
- Modell-Artefakte als OCI-Images und über Registries
- Daten-Pipelines und Shared Storage für Training – Model Serving auf Kubernetes:
- KServe und Knative für serverless Inferenz
- vLLM auf Kubernetes betreiben
- Ray Serve für verteiltes Serving
- NVIDIA Triton Inference Server
- Serving-Patterns: REST, gRPC, Streaming, Canary – Autoscaling für Inferenz-Last:
- Horizontal und Vertical Pod Autoscaler
- KEDA: Event-Driven Autoscaling und Scale-to-Zero
- Cluster Autoscaler und Karpenter für GPU-Nodes
- Skalierung nach Custom Metrics (Queue-Länge, Latenz) – Orchestrierung von Training und Batch:
- Kubeflow Pipelines für ML-Workflows
- Ray auf Kubernetes (KubeRay) für verteiltes Training
- Argo Workflows für Batch- und Trainings-Jobs
- Jobs, CronJobs und Gang Scheduling – GitOps für Modelle und Plattform:
- Deklaratives Deployment mit Argo CD und Flux
- Modell-Rollouts, Versionierung und Canary
- Promotion über Umgebungen (Dev, Staging, Prod)
- Reproduzierbarkeit und Rollbacks – Multi-Tenancy und Isolation:
- Namespaces, RBAC und Resource Quotas
- Fair Sharing knapper GPU-Ressourcen
- Netzwerk- und Sicherheits-Isolation zwischen Teams – Observability für AI-Workloads:
- GPU-Metriken mit DCGM Exporter
- Prometheus und Grafana für Cluster- und Inferenz-Metriken
- Latenz, Throughput und Token/s überwachen
- Logs und Distributed Tracing für Inferenz-Pipelines
- Cost-Tracking und Auslastungsanalyse – Security und Supply Chain:
- Absicherung von Modell-Images und Artefakten
- Signaturen, SBOMs und Admission Control
- Secrets, Netzwerk-Policies und Isolation
- Compliance-Aspekte beim Betrieb von AI-Workloads – Kosten und Effizienz:
- GPU-Auslastung optimieren
- Spot-/Preemptible-Nodes und Bin-Packing
- Scale-to-Zero und bedarfsgerechtes Provisionieren
- Benchmarking und Kapazitätsplanung – Best Practices und Zukunftstrends:
- Referenzarchitekturen für AI-Plattformen auf Kubernetes
- Team-Organisation für AI-Platform-Teams
- Emerging Standards und Projekte im Cloud-Native-AI-Umfeld
Der Kurs kombiniert theoretische Grundlagen mit intensiven praktischen Übungen. Die Teilnehmenden bauen an einem echten Cluster einen produktionsreifen AI-Plattform-Stack auf und lernen, AI-Workloads zuverlässig und kosteneffizient auf Kubernetes zu betreiben.
Der effektive Kursinhalt kann, abhängig von Trainer, Durchführung, Dauer und Konstellation der Teilnehmer:innen, von obigen Angaben abweichen.
In-House Kurs anfragen
Öffentlichen Termin anfragen
Kein passender öffentlicher Termin dabei? Trag dich unverbindlich ein – sobald genug Interesse besteht, planen wir einen neuen öffentlichen Termin und informieren dich zuerst.
Mehr über AI Workloads auf Kubernetes
Kubernetes hat sich zur Standard-Plattform für den Betrieb containerisierter Anwendungen entwickelt – und wird zunehmend auch zur Plattform für AI- und ML-Workloads. Der Betrieb von AI-Workloads stellt jedoch besondere Anforderungen: GPUs sind teuer und knapp, Modell-Artefakte sind gross, Trainings- und Batch-Läufe dauern lange und die Inferenz-Last schwankt stark. Kubernetes bietet mit GPU-Scheduling, Autoscaling, deklarativem Deployment und einem reichen Ökosystem an Operatoren die Bausteine, um diese Herausforderungen zu meistern.Weitere Ressourcen:
History
Die GPU-Unterstützung in Kubernetes begann 2017 mit dem Device-Plugin-Framework, das Beschleuniger wie NVIDIA-GPUs für den Scheduler sichtbar machte. Mit dem NVIDIA GPU Operator wurde das Ausrollen von Treibern, Runtime und Monitoring automatisiert.
Parallel entstanden Projekte, die Machine Learning auf Kubernetes standardisierten: Kubeflow (2018) für ML-Pipelines, KServe (ursprünglich KFServing) für serverless Model Serving und Ray für verteiltes Training und Serving. Mit dem LLM-Boom ab 2022 kamen Inferenz-Engines wie vLLM hinzu, die – auf Kubernetes betrieben und mit KEDA autoskaliert – heute zu einem produktionsreifen AI-Plattform-Stack zusammenwachsen.