DGX OS uitgelegd: NVIDIA's besturingssysteem voor AI

Wat is DGX-besturingssysteem?

DGX OS is NVIDIA's speciaal gebouwde besturingssysteem voor AI-infrastructuur. Het is gebaseerd op Ubuntu Linux en gaat veel verder dan een standaarddistributie door een volledig geoptimaliseerde AI-softwarestack, bedrijfsbeveiligingsfuncties en clusterbeheertools te integreren in één enkel samenhangend platform. Oorspronkelijk alleen beschikbaar op NVIDIA's eigen DGX-hardware, heeft DGX OS zijn bereik uitgebreid en ondersteunt nu geselecteerde partnersystemen, wat de ambitie van NVIDIA weerspiegelt om het standaardplatform voor AI-computing op elke schaal te worden.

Voor AI-ingenieurs lost DGX OS een hardnekkig probleem op: de kloof tussen het installeren van een besturingssysteem en het hebben van een productieklare omgeving voor training en gevolgtrekking. Op standaard Ubuntu kan het configureren van CUDA-stuurprogramma's, cuDNN, containerruntimes, netwerkinfrastructuur en opslag dagen aan engineeringtijd in beslag nemen en subtiele compatibiliteitsproblemen met zich meebrengen. DGX OS elimineert deze wrijving volledig.

Vooraf geconfigureerde AI-softwarestack

Het middelpunt van DGX OS is de vooraf geconfigureerde en gevalideerde AI-softwarestack. Elk onderdeel wordt samen getest en werkt gegarandeerd met topprestaties op ondersteunde hardware.

CUDA-toolkit: DGX OS wordt geleverd met de nieuwste stabiele CUDA-release, volledig geconfigureerd met omgevingsvariabelen, bibliotheekpaden en compilertoolchains. Stuurprogrammaversies worden afgestemd op de kernel en getest met de specifieke GPU-modellen in het systeem. Er is geen handmatige installatie van stuurprogramma's, geen debuggen van versie-mismatches en geen verbroken symlinks.

cuDNN: De CUDA Deep Neural Network-bibliotheek is vooraf geïnstalleerd en afgestemd op de GPU-architectuur die in het systeem aanwezig is. DGX OS bevat de auto-tuning-profielen van cuDNN voor algemene netwerkarchitecturen, wat betekent dat uw eerste convolutie- of aandachtsoperatie op vrijwel optimale snelheid draait zonder opwarmexperimenten.

TensorRT: NVIDIA's engine voor gevolgtrekkingsoptimalisatie wordt meegeleverd met vooraf gebouwde plug-ins voor populaire modelarchitecturen. DGX OS configureert TensorRT om het beschikbare GPU-geheugen efficiënt te gebruiken, waardoor INT8- en FP16-inferentie kant-en-klaar mogelijk wordt gemaakt met kalibratietools die klaar zijn voor gebruik.

NCCL: De NVIDIA Collective Communications Library is van cruciaal belang voor training met meerdere GPU en meerdere knooppunten. DGX OS configureert NCCL met topologiebewuste instellingen die overeenkomen met de NVLink-, NVSwitch- en InfiniBand-infrastructuur van het systeem. Op een DGX H100-systeem met acht GPU's aangesloten via NVSwitch, bereikt NCCL een vrijwel theoretisch maximale bandbreedte voor volledig gereduceerde bewerkingen zonder enige handmatige afstemming.

Containerruntime en NGC

DGX OS gebruikt containers als het primaire implementatiemechanisme voor AI-workloads. De NVIDIA Container Toolkit is vooraf geïnstalleerd, waardoor Docker en andere OCI-compatibele runtimes op transparante wijze toegang krijgen tot GPU's. Wanneer u een container uitvoert, worden GPU-apparaten, stuurprogramma's en bibliotheken automatisch in de containernaamruimte gekoppeld.

Het systeem is nauw geïntegreerd met NVIDIA NGC, een catalogus met voor GPU geoptimaliseerde containers voor elk belangrijk AI-framework. NGC-containers voor PyTorch, TensorFlow, JAX, RAPIDS en tientallen andere tools worden maandelijks getest met DGX OS en gepubliceerd met prestatiebenchmarks. Het ophalen en uitvoeren van een NGC-container op DGX OS is een enkele opdracht:

docker run --gpus all nvcr.io/nvidia/pytorch:24.03-py3

Deze container bevat PyTorch, samengesteld met de optimale CUDA- en cuDNN-versies voor het hostsysteem, samen met Apex voor training met gemengde precisie, Transformer Engine voor efficiënte aandachtsberekening en vooraf geconfigureerde gedistribueerde trainingshulpmiddelen.

Base Command Manager voor clusterorkestratie

Voor organisaties die meerdere DGX-systemen gebruiken, kan DGX OS worden geïntegreerd met Base Command Manager (voorheen Bright Cluster Manager). Deze orkestratielaag biedt taakplanning via Slurm of Kubernetes, toewijzing van bronnen aan meerdere knooppunten, gebruikers- en groepsbeheer en gezondheidsmonitoring in het hele cluster.

Base Command Manager verzorgt de complexe taak van het coördineren van trainingstaken met meerdere knooppunten. Wanneer u een trainingstaak indient waarvoor 32 GPU's over vier DGX-knooppunten nodig zijn, wijst de manager bronnen toe, configureert de netwerkinfrastructuur, start processen op elk knooppunt en controleert op fouten. Als een GPU een fout tegenkomt, kan de manager de trainingsstatus controleren en de taak opnieuw starten op gezonde hardware.

Voor teams die de voorkeur geven aan Kubernetes ondersteunt DGX OS de NVIDIA GPU Operator en Network Operator, die GPU's en hogesnelheidsverbindingen beschikbaar stellen als Kubernetes-bronnen. Hierdoor kunnen platformteams een selfservice AI-infrastructuur bieden via standaard Kubernetes API's, terwijl DGX OS de hardwarespecifieke complexiteit daaronder afhandelt.

Beveiligingsfuncties

Enterprise AI-systemen verwerken gevoelige gegevens en dure computerbronnen, waardoor beveiliging een eersteklas zorg is in DGX OS.

Veilig opstarten: DGX OS valideert de integriteit van de opstartketen, van firmware via kernel tot gebruikersruimte. Elk onderdeel is cryptografisch ondertekend, waardoor wordt voorkomen dat kernels of rootkits worden geladen. Dit is vooral belangrijk in gedeelde omgevingen waar meerdere teams toegang hebben tot dezelfde hardware.

Gecodeerde opslag: Encryptie over de volledige schijf is kant-en-klaar beschikbaar, waardoor gegevens in rust op zowel besturingssysteemschijven als snelle NVMe-opslag worden beschermd. Sleutelbeheer kan worden geïntegreerd met bedrijfssystemen zoals HashiCorp Vault en hardwarebeveiligingsmodules.

Netwerkisolatie: DGX OS ondersteunt fijnmazig netwerkbeleid dat trainingstaken van elkaar en van managementverkeer isoleert. GPU-direct RDMA-verkeer stroomt over speciale InfiniBand-partities, waardoor gegevenslekken tussen tenants op gedeelde clusters worden voorkomen.

Auditregistratie: Alle administratieve acties, GPU-toewijzingen en containerlanceringen worden vastgelegd in een fraudebestendige audittrail. Deze logboeken kunnen worden geïntegreerd met standaard SIEM-platforms voor nalevingsmonitoring.

Prestatieafstemming uit de doos

DGX OS bevat honderden prestatie-optimalisaties die een deskundige systeembeheerder weken nodig zouden hebben om handmatig te implementeren. De kernel is geconfigureerd met optimale CPU-gouverneurinstellingen, NUMA-bewuste geheugentoewijzing en afgestemde netwerkstackparameters. De GPU-persistentiemodus is standaard ingeschakeld, waardoor de opstartlatentie wordt geëlimineerd die ontwikkelingsworkflows op standaard Linux teistert. Enorme pagina's zijn vooraf toegewezen voor GPU-geheugentoewijzingen. IRQ-affiniteit is ingesteld om CPU-overhead tijdens gegevensoverdrachten te minimaliseren.

Het resultaat is meetbaar. Benchmarkvergelijkingen laten consequent zien dat DGX OS een vijf tot vijftien procent hogere trainingsdoorvoer levert dan dezelfde hardware waarop Ubuntu draait met handmatig geïnstalleerde stuurprogramma's, een verschil dat samengaat met meerdaagse training en aanzienlijke tijd- en kostenbesparingen oplevert.

Wie heeft DGX OS versus standaard Ubuntu nodig?

DGX OS is niet voor iedereen geschikt, en het is belangrijk om te begrijpen wanneer het waarde toevoegt. Als je een solo-onderzoeker bent met een enkele GPU die experimenten uitvoert vanaf Jupyter-notebooks, is standaard Ubuntu met een handmatig geïnstalleerde CUDA-toolkit perfect geschikt. De overhead van de bedrijfsfuncties van DGX OS zou de complexiteit zonder enig voordeel vergroten.

DGX OS wordt aantrekkelijk wanneer u meerdere GPU's of knooppunten heeft, wanneer meerdere gebruikers hardware delen, wanneer u reproduceerbare omgevingen nodig heeft voor ontwikkeling en productie, of wanneer nalevingsvereisten beveiligingsfuncties vereisen zoals Secure Boot en auditlogging. In deze scenario's rechtvaardigen de tijd die wordt bespaard bij het instellen, de vermindering van configuratiedrift en de gemoedsrust van gevalideerde softwarestacks de investering.

DGX-besturingssysteem op Lenovo ThinkStation PGX

In een aanzienlijke uitbreiding van het DGX-ecosysteem werkte NVIDIA samen met Lenovo om DGX OS naar de ThinkStation PGX te brengen, een systeem van werkstationklasse dat is ontworpen voor AI-ontwikkeling. De ThinkStation PGX combineert NVIDIA GPU's met Lenovo's werkstationontwerp, thermisch beheer en ondersteuningsinfrastructuur, terwijl DGX OS de software-ervaring biedt die voorheen alleen beschikbaar was op hardware van het merk NVIDIA.

Dit partnerschap is belangrijk omdat het de AI-mogelijkheden van ondernemingen naar een vormfactor brengt die onder een bureau past. Teams die software van DGX-klasse nodig hebben maar een datacenterrack niet kunnen rechtvaardigen, kunnen nu ThinkStation PGX-systemen inzetten in kantooromgevingen met dezelfde gevalideerde stack die draait op DGX-systemen in het datacenter.

Installatie en eerste stappen

Aan de slag gaan met DGX OS is afhankelijk van uw hardware. Op NVIDIA DGX-systemen is het besturingssysteem vooraf geïnstalleerd. Op ondersteunde partnerhardware zoals de ThinkStation PGX installeert u DGX OS vanaf een opstartbare USB-image die wordt aangeboden via de ondernemingsportal van NVIDIA.

Na de installatie is de eerste stap het registreren van het systeem bij de licentieserver van NVIDIA om bedrijfsondersteuning en NGC-toegang te activeren. Verifieer vervolgens de GPU-stack door de ingebouwde validatiesuite uit te voeren:

nvidia-smi
dgxos-validate --full

Hiermee wordt een uitgebreide controle uitgevoerd van stuurprogramma's, bibliotheken, verbindingen en opslag. Zodra de validatie is geslaagd, haalt u uw eerste NGC-container op en voert u een benchmark uit om te bevestigen dat alles naar verwachting presteert. Van daaruit kunt u gebruikersaccounts configureren, Slurm of Kubernetes instellen voor taakplanning en beginnen met het onboarden van uw AI-workloads op een platform dat speciaal is gebouwd om ze uit te voeren.