DGX OS کی وضاحت کی گئی: AI کے لیے NVIDIA کا آپریٹنگ سسٹم

DGX OS کیا ہے؟

DGX OS AI انفراسٹرکچر کے لیے NVIDIA کا مقصد سے بنایا ہوا آپریٹنگ سسٹم ہے۔ Ubuntu Linux کی بنیاد پر، یہ ایک مکمل طور پر آپٹمائزڈ AI سافٹ ویئر اسٹیک، انٹرپرائز سیکیورٹی فیچرز، اور کلسٹر مینجمنٹ ٹولز کو ایک واحد، ہم آہنگ پلیٹ فارم میں ضم کرکے معیاری تقسیم سے بہت آگے جاتا ہے۔ اصل میں صرف NVIDIA کے اپنے DGX ہارڈویئر پر دستیاب ہے، DGX OS نے اپنی رسائی کو بڑھا دیا ہے اور اب منتخب پارٹنر سسٹمز کو سپورٹ کرتا ہے، جو NVIDIA کے ہر پیمانے پر AI کمپیوٹ کے لیے ڈیفالٹ پلیٹ فارم بننے کے عزائم کی عکاسی کرتا ہے۔

AI انجینئرز کے لیے، DGX OS ایک مستقل مسئلہ حل کرتا ہے: آپریٹنگ سسٹم کو انسٹال کرنے اور تربیت اور تخمینہ کے لیے پیداوار کے لیے تیار ماحول کے درمیان فرق۔ معیاری Ubuntu پر، CUDA ڈرائیورز، cuDNN، کنٹینر رن ٹائمز، نیٹ ورک فیبرک، اور سٹوریج کو ترتیب دینے سے انجینئرنگ کا وقت گزر سکتا ہے اور ٹھیک ٹھیک مطابقت کے مسائل کو متعارف کرایا جا سکتا ہے۔ DGX OS اس رگڑ کو مکمل طور پر ختم کرتا ہے۔

پہلے سے تشکیل شدہ AI سافٹ ویئر اسٹیک

DGX OS کا مرکزی حصہ اس کا پہلے سے تشکیل شدہ اور تصدیق شدہ AI سافٹ ویئر اسٹیک ہے۔ ہر جزو کا ایک ساتھ تجربہ کیا جاتا ہے اور معاون ہارڈ ویئر پر بہترین کارکردگی پر کام کرنے کی ضمانت دی جاتی ہے۔

CUDA ٹول کٹ: DGX OS تازہ ترین مستحکم CUDA ریلیز کے ساتھ بحری جہاز، مکمل طور پر ماحولیاتی متغیرات، لائبریری کے راستے، اور کمپائلر ٹول چینز کے ساتھ ترتیب دیا گیا ہے۔ ڈرائیور کے ورژن کرنل سے مماثل ہوتے ہیں اور سسٹم میں مخصوص GPU ماڈلز کے خلاف جانچے جاتے ہیں۔ کوئی مینوئل ڈرائیور انسٹالیشن نہیں ہے، کوئی ورژن مماثل ڈیبگنگ نہیں ہے، اور کوئی ٹوٹا ہوا سیملنک نہیں ہے۔

cuDNN: CUDA ڈیپ نیورل نیٹ ورک لائبریری سسٹم میں موجود GPU فن تعمیر کے لیے پہلے سے انسٹال اور ٹیون ہے۔ DGX OS میں عام نیٹ ورک آرکیٹیکچرز کے لیے cuDNN کے آٹو ٹیوننگ پروفائلز شامل ہیں، یعنی آپ کا پہلا کنولوشن یا توجہ کا آپریشن بغیر کسی وارم اپ کے تجربات کے قریب ترین رفتار سے چلتا ہے۔

TensorRT: NVIDIA کا انفرنس آپٹیمائزیشن انجن مقبول ماڈل آرکیٹیکچرز کے لیے پہلے سے بنائے گئے پلگ ان کے ساتھ شامل ہے۔ DGX OS دستیاب GPU میموری کو موثر طریقے سے استعمال کرنے کے لیے TensorRT کو ترتیب دیتا ہے، جس سے INT8 اور FP16 کا اندازہ باہر سے باہر کیلیبریشن ٹولز کو چلانے کے لیے تیار ہے۔

این سی سی ایل: NVIDIA اجتماعی کمیونیکیشن لائبریری ملٹی GPU اور ملٹی نوڈ ٹریننگ کے لیے اہم ہے۔ DGX OS NCCL کو ٹاپولوجی سے آگاہ سیٹنگز کے ساتھ کنفیگر کرتا ہے جو سسٹم کے NVLink، NVSwitch، اور InfiniBand فیبرک سے میل کھاتا ہے۔ NVSwitch کے ذریعے منسلک آٹھ GPUs کے ساتھ ایک DGX H100 سسٹم پر، NCCL بغیر کسی دستی ٹیوننگ کے تمام کم آپریشنز کے لیے تقریباً نظریاتی-زیادہ سے زیادہ بینڈوتھ حاصل کرتا ہے۔

کنٹینر رن ٹائم اور NGC

DGX OS کنٹینرز کو AI کام کے بوجھ کے لیے بنیادی تعیناتی طریقہ کار کے طور پر استعمال کرتا ہے۔ NVIDIA کنٹینر ٹول کٹ پہلے سے انسٹال ہے، Docker اور دیگر OCI-مطابق رن ٹائمز کو شفاف طریقے سے GPUs تک رسائی کے قابل بناتا ہے۔ جب آپ کنٹینر چلاتے ہیں، تو GPU ڈیوائسز، ڈرائیورز، اور لائبریریاں خود بخود کنٹینر کے نام کی جگہ کے اندر نصب ہو جاتی ہیں۔

سسٹم کو NVIDIA NGC کے ساتھ مضبوطی سے مربوط کیا گیا ہے، جو کہ ہر بڑے AI فریم ورک کے لیے GPU-آپٹمائزڈ کنٹینرز کا کیٹلاگ ہے۔ PyTorch, TensorFlow, JAX, RAPIDS، اور درجنوں دیگر ٹولز کے لیے NGC کنٹینرز کا DGX OS کے خلاف ماہانہ تجربہ کیا جاتا ہے اور کارکردگی کے بینچ مارکس کے ساتھ شائع کیا جاتا ہے۔ DGX OS پر NGC کنٹینر کو کھینچنا اور چلانا ایک واحد کمانڈ ہے:

docker run --gpus all nvcr.io/nvidia/pytorch:24.03-py3

اس کنٹینر میں میزبان سسٹم کے لیے بہترین CUDA اور cuDNN ورژنز کے ساتھ مرتب کردہ PyTorch، مخلوط درستگی کی تربیت کے لیے Apex، موثر توجہ کی گنتی کے لیے ٹرانسفارمر انجن، اور پہلے سے ترتیب شدہ تقسیم شدہ تربیتی یوٹیلیٹیز شامل ہیں۔

کلسٹر آرکیسٹریشن کے لیے بیس کمانڈ مینیجر

ایک سے زیادہ DGX سسٹم چلانے والی تنظیموں کے لیے، DGX OS بیس کمانڈ مینیجر (سابقہ برائٹ کلسٹر مینیجر) کے ساتھ ضم ہوتا ہے۔ یہ آرکیسٹریشن پرت Slurm یا Kubernetes، ملٹی نوڈ ریسورس ایلوکیشن، صارف اور گروپ مینجمنٹ، اور پورے کلسٹر میں صحت کی نگرانی کے ذریعے کام کا شیڈولنگ فراہم کرتی ہے۔

بیس کمانڈ مینیجر ملٹی نوڈ تربیتی ملازمتوں کو مربوط کرنے کے پیچیدہ کام کو سنبھالتا ہے۔ جب آپ ایک تربیتی جاب جمع کراتے ہیں جس کے لیے چار DGX نوڈس میں 32 GPUs کی ضرورت ہوتی ہے، مینیجر وسائل مختص کرتا ہے، نیٹ ورک فیبرک کو ترتیب دیتا ہے، ہر نوڈ پر عمل شروع کرتا ہے، اور ناکامیوں پر نظر رکھتا ہے۔ اگر کسی GPU میں کسی خرابی کا سامنا ہوتا ہے، تو مینیجر تربیتی حالت کو چیک کر سکتا ہے اور صحت مند ہارڈ ویئر پر کام کو دوبارہ شروع کر سکتا ہے۔

Kubernetes کو ترجیح دینے والی ٹیموں کے لیے، DGX OS NVIDIA GPU آپریٹر اور نیٹ ورک آپریٹر کو سپورٹ کرتا ہے، جو GPUs اور تیز رفتار باہمی ربط کو Kubernetes وسائل کے طور پر ظاہر کرتا ہے۔ یہ پلیٹ فارم ٹیموں کو معیاری Kubernetes APIs کے ذریعے سیلف سروس AI انفراسٹرکچر فراہم کرنے دیتا ہے جبکہ DGX OS نیچے ہارڈ ویئر کی مخصوص پیچیدگی کو سنبھالتا ہے۔

حفاظتی خصوصیات

انٹرپرائز AI سسٹمز حساس ڈیٹا اور مہنگے کمپیوٹ وسائل کو ہینڈل کرتے ہیں، جس سے DGX OS میں سیکیورٹی کو فرسٹ کلاس تشویش کا باعث بنتا ہے۔

محفوظ بوٹ: DGX OS فرم ویئر سے کرنل کے ذریعے یوزر اسپیس تک بوٹ چین کی سالمیت کی توثیق کرتا ہے۔ ہر جزو کو خفیہ طور پر دستخط کیا جاتا ہے، چھیڑ چھاڑ کرنے والے دانا یا روٹ کٹس کو لوڈ ہونے سے روکتا ہے۔ یہ مشترکہ ماحول میں خاص طور پر اہم ہے جہاں متعدد ٹیمیں ایک ہی ہارڈویئر تک رسائی حاصل کرتی ہیں۔

خفیہ کردہ اسٹوریج: فل ڈسک انکرپشن باکس کے باہر دستیاب ہے، OS ڈرائیوز اور تیز رفتار NVMe اسٹوریج دونوں پر ڈیٹا کی حفاظت کرتا ہے۔ کلیدی انتظام انٹرپرائز سسٹمز جیسے HashiCorp Vault اور ہارڈویئر سیکیورٹی ماڈیولز کے ساتھ مربوط ہوتا ہے۔

نیٹ ورک تنہائی: DGX OS نیٹ ورک کی عمدہ پالیسیوں کی حمایت کرتا ہے جو تربیتی ملازمتوں کو ایک دوسرے سے اور انتظامی ٹریفک سے الگ کرتی ہے۔ GPU-براہ راست RDMA ٹریفک وقف شدہ InfiniBand پارٹیشنز پر بہتا ہے، مشترکہ کلسٹرز پر کرایہ داروں کے درمیان ڈیٹا کے رساو کو روکتا ہے۔

آڈٹ لاگنگ: تمام انتظامی کارروائیاں، GPU مختصات، اور کنٹینر لانچوں کو چھیڑ چھاڑ سے بچنے والے آڈٹ ٹریل پر لاگ ان کیا جاتا ہے۔ یہ لاگز تعمیل کی نگرانی کے لیے معیاری SIEM پلیٹ فارمز کے ساتھ مربوط ہوتے ہیں۔

پرفارمنس ٹوننگ آؤٹ آف دی باکس

DGX OS میں سیکڑوں پرفارمنس آپٹیمائزیشنز شامل ہیں جنہیں دستی طور پر لاگو کرنے میں ماہر سسٹم ایڈمنسٹریٹر کو ہفتے لگیں گے۔ کرنل کو بہترین CPU گورنر سیٹنگز، NUMA- آگاہ میموری ایلوکیشن، اور ٹیونڈ نیٹ ورک اسٹیک پیرامیٹرز کے ساتھ کنفیگر کیا گیا ہے۔ GPU پرسٹینس موڈ بطور ڈیفالٹ فعال ہوتا ہے، اسٹارٹ اپ لیٹنسی کو ختم کرتا ہے جو معیاری لینکس پر ترقیاتی ورک فلو کو متاثر کرتا ہے۔ GPU میموری میپنگ کے لیے بہت بڑے صفحات پہلے سے مختص ہیں۔ IRQ affinity ڈیٹا کی منتقلی کے دوران CPU اوور ہیڈ کو کم سے کم کرنے کے لیے سیٹ کیا گیا ہے۔

نتیجہ قابل پیمائش ہے۔ بینچ مارک موازنے مسلسل دکھاتے ہیں کہ DGX OS دستی طور پر نصب ڈرائیوروں کے ساتھ چلانے والے سٹاک اوبنٹو کے مقابلے میں پانچ سے پندرہ فیصد زیادہ ٹریننگ تھرو پٹ فراہم کرتا ہے، یہ فرق جو ملٹی ڈے ٹریننگ کے دوران اہم وقت اور لاگت میں بچت کرتا ہے۔

کس کو DGX OS بمقابلہ معیاری اوبنٹو کی ضرورت ہے؟

DGX OS ہر کسی کے لیے نہیں ہے، اور یہ سمجھنا اہم ہے کہ یہ کب قدر میں اضافہ کرتا ہے۔ اگر آپ Jupyter نوٹ بکس سے ایک GPU چلانے والے تجربات کے ساتھ اکیلے محقق ہیں، تو دستی طور پر نصب شدہ CUDA ٹول کٹ کے ساتھ معیاری Ubuntu بالکل مناسب ہے۔ DGX OS کے انٹرپرائز فیچرز کا اوور ہیڈ بغیر فائدے کے پیچیدگی میں اضافہ کرے گا۔

DGX OS مجبور ہو جاتا ہے جب آپ کے پاس متعدد GPUs یا نوڈز ہوتے ہیں، جب متعدد صارفین ہارڈ ویئر کا اشتراک کرتے ہیں، جب آپ کو ترقی اور پیداوار میں دوبارہ پیدا کرنے کے قابل ماحول کی ضرورت ہوتی ہے، یا جب تعمیل کے تقاضے سیکیور بوٹ اور آڈٹ لاگنگ جیسی حفاظتی خصوصیات کو لازمی قرار دیتے ہیں۔ ان حالات میں، سیٹ اپ پر بچا ہوا وقت، کنفیگریشن ڈرفٹ میں کمی، اور توثیق شدہ سافٹ ویئر اسٹیک سے ذہنی سکون سرمایہ کاری کا جواز پیش کرتا ہے۔

Lenovo ThinkStation PGX پر DGX OS

DGX ایکو سسٹم کی ایک اہم توسیع میں، NVIDIA نے DGX OS کو ThinkStation PGX پر لانے کے لیے Lenovo کے ساتھ شراکت کی، ایک ورک سٹیشن کلاس سسٹم جو AI کی ترقی کے لیے ڈیزائن کیا گیا ہے۔ ThinkStation PGX NVIDIA GPUs کو Lenovo کے ورک سٹیشن ڈیزائن، تھرمل مینجمنٹ، اور سپورٹ انفراسٹرکچر کے ساتھ جوڑتا ہے، جبکہ DGX OS سافٹ ویئر کا تجربہ فراہم کرتا ہے جو پہلے صرف NVIDIA-برانڈڈ ہارڈ ویئر پر دستیاب تھا۔

یہ شراکت داری اہمیت رکھتی ہے کیونکہ یہ انٹرپرائز AI صلاحیتوں کو ایک فارم فیکٹر میں لاتی ہے جو ڈیسک کے نیچے فٹ بیٹھتا ہے۔ وہ ٹیمیں جن کو DGX کلاس سافٹ ویئر کی ضرورت ہے لیکن وہ ڈیٹا سینٹر ریک کا جواز پیش نہیں کر سکتیں اب وہ ThinkStation PGX سسٹمز کو آفس کے ماحول میں تعینات کر سکتی ہیں جس کے ساتھ ڈیٹا سینٹر میں DGX سسٹمز پر چل رہا ہے۔

سیٹ اپ اور پہلے اقدامات

DGX OS کے ساتھ شروع کرنا آپ کے ہارڈ ویئر پر منحصر ہے۔ NVIDIA DGX سسٹمز پر، OS پہلے سے انسٹال ہوتا ہے۔ تعاون یافتہ پارٹنر ہارڈویئر جیسے ThinkStation PGX پر، آپ NVIDIA کے انٹرپرائز پورٹل کے ذریعے فراہم کردہ بوٹ ایبل USB امیج سے DGX OS انسٹال کرتے ہیں۔

انسٹالیشن کے بعد، پہلا مرحلہ سسٹم کو NVIDIA کے لائسنسنگ سرور کے ساتھ رجسٹر کرنا ہے تاکہ انٹرپرائز سپورٹ اور NGC رسائی کو چالو کیا جا سکے۔ اگلا، بلٹ ان توثیق سویٹ چلا کر GPU اسٹیک کی تصدیق کریں:

nvidia-smi
dgxos-validate --full

یہ ڈرائیوروں، لائبریریوں، آپس میں جڑنے، اور اسٹوریج کی ایک جامع جانچ کرتا ہے۔ ایک بار توثیق گزر جانے کے بعد، اپنا پہلا NGC کنٹینر کھینچیں اور اس بات کی تصدیق کرنے کے لیے ایک بینچ مارک چلائیں کہ ہر چیز توقع کے مطابق کام کر رہی ہے۔ وہاں سے، آپ یوزر اکاؤنٹس کو کنفیگر کر سکتے ہیں، جاب شیڈولنگ کے لیے Slurm یا Kubernetes سیٹ کر سکتے ہیں، اور اپنے AI ورک لوڈز کو ایک ایسے پلیٹ فارم پر آن بورڈ کرنا شروع کر سکتے ہیں جو خاص طور پر انہیں چلانے کے لیے بنایا گیا تھا۔