DGX OS ব্যাখ্যা করা হয়েছে: AI এর জন্য NVIDIA এর অপারেটিং সিস্টেম

DGX OS কি?

DGX OS হল AI পরিকাঠামোর জন্য NVIDIA-এর উদ্দেশ্য-নির্মিত অপারেটিং সিস্টেম। উবুন্টু লিনাক্সের উপর ভিত্তি করে, এটি একটি সম্পূর্ণ অপ্টিমাইজ করা AI সফ্টওয়্যার স্ট্যাক, এন্টারপ্রাইজ নিরাপত্তা বৈশিষ্ট্য এবং ক্লাস্টার পরিচালনার সরঞ্জামগুলিকে একটি একক, সমন্বিত প্ল্যাটফর্মে একীভূত করে একটি আদর্শ বিতরণের বাইরে চলে যায়। মূলত শুধুমাত্র NVIDIA-এর নিজস্ব DGX হার্ডওয়্যারে উপলব্ধ, DGX OS তার নাগাল প্রসারিত করেছে এবং এখন নির্বাচিত অংশীদার সিস্টেমগুলিকে সমর্থন করে, প্রতিটি স্কেলে AI কম্পিউটের ডিফল্ট প্ল্যাটফর্ম হওয়ার জন্য NVIDIA-এর উচ্চাকাঙ্ক্ষাকে প্রতিফলিত করে।

এআই ইঞ্জিনিয়ারদের জন্য, ডিজিএক্স ওএস একটি স্থায়ী সমস্যা সমাধান করে: একটি অপারেটিং সিস্টেম ইনস্টল করা এবং প্রশিক্ষণ এবং অনুমানের জন্য একটি উত্পাদন-প্রস্তুত পরিবেশ থাকার মধ্যে ব্যবধান। স্ট্যান্ডার্ড উবুন্টুতে, CUDA ড্রাইভার, cuDNN, কন্টেইনার রানটাইম, নেটওয়ার্ক ফ্যাব্রিক এবং স্টোরেজ কনফিগার করা ইঞ্জিনিয়ারিং সময় ব্যয় করতে পারে এবং সূক্ষ্ম সামঞ্জস্যতার সমস্যাগুলি প্রবর্তন করতে পারে। DGX OS সম্পূর্ণরূপে এই ঘর্ষণ দূর করে।

প্রাক-কনফিগার করা AI সফটওয়্যার স্ট্যাক

DGX OS এর কেন্দ্রবিন্দু হল এর পূর্ব-কনফিগার করা এবং বৈধ AI সফ্টওয়্যার স্ট্যাক। প্রতিটি উপাদান একসাথে পরীক্ষা করা হয় এবং সমর্থিত হার্ডওয়্যারে সর্বোচ্চ পারফরম্যান্সে কাজ করার গ্যারান্টি দেওয়া হয়।

CUDA টুলকিট: DGX OS লেটেস্ট স্থিতিশীল CUDA রিলিজ সহ, পরিবেশের ভেরিয়েবল, লাইব্রেরি পাথ এবং কম্পাইলার টুলচেইনগুলির সাথে সম্পূর্ণরূপে কনফিগার করা। ড্রাইভার সংস্করণগুলি কার্নেলের সাথে মিলে যায় এবং সিস্টেমে নির্দিষ্ট GPU মডেলগুলির বিরুদ্ধে পরীক্ষা করা হয়। কোন ম্যানুয়াল ড্রাইভার ইনস্টলেশন নেই, কোন সংস্করণ অমিল ডিবাগিং, এবং কোন ভাঙা সিমলিংক নেই।

cuDNN: CUDA ডিপ নিউরাল নেটওয়ার্ক লাইব্রেরিটি সিস্টেমে উপস্থিত GPU আর্কিটেকচারের জন্য আগে থেকে ইনস্টল করা এবং টিউন করা হয়েছে। DGX OS সাধারণ নেটওয়ার্ক আর্কিটেকচারের জন্য cuDNN-এর অটো-টিউনিং প্রোফাইল অন্তর্ভুক্ত করে, যার অর্থ আপনার প্রথম কনভ্যুলেশন বা মনোযোগ অপারেশন ওয়ার্মআপ পরীক্ষা ছাড়াই কাছাকাছি-অনুকূল গতিতে চলে।

টেনসরআরটি: NVIDIA-এর ইনফারেন্স অপ্টিমাইজেশান ইঞ্জিন জনপ্রিয় মডেল আর্কিটেকচারের জন্য পূর্ব-নির্মিত প্লাগইনগুলির সাথে অন্তর্ভুক্ত। DGX OS TensorRT-কে উপলব্ধ GPU মেমরি দক্ষতার সাথে ব্যবহার করার জন্য কনফিগার করে, INT8 এবং FP16 অনুমানের বাইরে ক্রমাঙ্কন সরঞ্জামগুলি চালানোর জন্য প্রস্তুত।

NCCL: NVIDIA কালেক্টিভ কমিউনিকেশন লাইব্রেরি মাল্টি-GPU এবং মাল্টি-নোড প্রশিক্ষণের জন্য গুরুত্বপূর্ণ। DGX OS NCCL-কে টপোলজি-সচেতন সেটিংসের সাথে কনফিগার করে যা সিস্টেমের NVLink, NVSwitch এবং InfiniBand ফ্যাব্রিকের সাথে মেলে। NVSwitch এর মাধ্যমে সংযুক্ত আটটি GPUs সহ একটি DGX H100 সিস্টেমে, NCCL কোনো ম্যানুয়াল টিউনিং ছাড়াই সমস্ত-হ্রাস অপারেশনের জন্য কাছাকাছি-তাত্ত্বিক-সর্বোচ্চ ব্যান্ডউইথ অর্জন করে।

ধারক রানটাইম এবং NGC

DGX OS এআই ওয়ার্কলোডের জন্য প্রাথমিক স্থাপনার ব্যবস্থা হিসাবে কন্টেইনার ব্যবহার করে। NVIDIA কন্টেইনার টুলকিটটি আগে থেকে ইনস্টল করা আছে, যা Docker এবং অন্যান্য OCI-সামঞ্জস্যপূর্ণ রানটাইমগুলিকে GPUs স্বচ্ছভাবে অ্যাক্সেস করতে সক্ষম করে। আপনি যখন একটি কন্টেইনার চালান, GPU ডিভাইস, ড্রাইভার এবং লাইব্রেরি স্বয়ংক্রিয়ভাবে কন্টেইনার নেমস্পেসের ভিতরে মাউন্ট করা হয়।

সিস্টেমটি NVIDIA NGC এর সাথে শক্তভাবে সংহত করা হয়েছে, প্রতিটি প্রধান AI ফ্রেমওয়ার্কের জন্য GPU-অপ্টিমাইজ করা কন্টেইনারগুলির একটি ক্যাটালগ। PyTorch, TensorFlow, JAX, RAPIDS, এবং কয়েক ডজন অন্যান্য সরঞ্জামের জন্য NGC কন্টেইনারগুলি DGX OS এর বিরুদ্ধে মাসিক পরীক্ষা করা হয় এবং কর্মক্ষমতা বেঞ্চমার্ক সহ প্রকাশিত হয়। DGX OS এ একটি NGC কন্টেইনার টানানো এবং চালানো একটি একক কমান্ড:

docker run --gpus all nvcr.io/nvidia/pytorch:24.03-py3

এই ধারকটিতে রয়েছে হোস্ট সিস্টেমের জন্য সর্বোত্তম CUDA এবং cuDNN সংস্করণ সহ সংকলিত PyTorch, মিশ্র-নির্ভুল প্রশিক্ষণের জন্য Apex, দক্ষ মনোযোগ গণনার জন্য ট্রান্সফরমার ইঞ্জিন, এবং পূর্ব-কনফিগার করা বিতরণকৃত প্রশিক্ষণ ইউটিলিটি।

ক্লাস্টার অর্কেস্ট্রেশনের জন্য বেস কমান্ড ম্যানেজার

একাধিক DGX সিস্টেম চালিত সংস্থাগুলির জন্য, DGX OS বেস কমান্ড ম্যানেজার (পূর্বে ব্রাইট ক্লাস্টার ম্যানেজার) এর সাথে একীভূত হয়। এই অর্কেস্ট্রেশন স্তরটি স্লার্ম বা Kubernetes, মাল্টি-নোড রিসোর্স বরাদ্দ, ব্যবহারকারী এবং গ্রুপ পরিচালনা এবং ক্লাস্টার জুড়ে স্বাস্থ্য পর্যবেক্ষণের মাধ্যমে কাজের সময়সূচী প্রদান করে।

বেস কমান্ড ম্যানেজার মাল্টি-নোড প্রশিক্ষণের কাজ সমন্বয় করার জটিল কাজ পরিচালনা করে। যখন আপনি একটি প্রশিক্ষণের কাজ জমা দেন যার জন্য চারটি DGX নোড জুড়ে 32 GPU প্রয়োজন, ম্যানেজার সংস্থানগুলি বরাদ্দ করে, নেটওয়ার্ক ফ্যাব্রিক কনফিগার করে, প্রতিটি নোডে প্রসেস চালু করে এবং ব্যর্থতার জন্য মনিটর করে। যদি একটি GPU একটি ত্রুটির সম্মুখীন হয়, ম্যানেজার প্রশিক্ষণের অবস্থা চেকপয়েন্ট করতে পারেন এবং স্বাস্থ্যকর হার্ডওয়্যারে কাজটি পুনরায় চালু করতে পারেন।

Kubernetes পছন্দকারী দলগুলির জন্য, DGX OS NVIDIA GPU অপারেটর এবং নেটওয়ার্ক অপারেটরকে সমর্থন করে, যা GPU এবং উচ্চ-গতির আন্তঃসংযোগগুলিকে Kubernetes সংস্থান হিসাবে প্রকাশ করে। এটি প্ল্যাটফর্ম দলগুলিকে স্ট্যান্ডার্ড Kubernetes APIs এর মাধ্যমে স্ব-পরিষেবা AI পরিকাঠামো প্রদান করতে দেয় যখন DGX OS নীচের হার্ডওয়্যার-নির্দিষ্ট জটিলতা পরিচালনা করে।

নিরাপত্তা বৈশিষ্ট্য

এন্টারপ্রাইজ এআই সিস্টেমগুলি সংবেদনশীল ডেটা এবং ব্যয়বহুল গণনা সংস্থানগুলি পরিচালনা করে, যা DGX OS-এ নিরাপত্তাকে একটি প্রথম-শ্রেণীর উদ্বেগ তৈরি করে।

নিরাপদ বুট: ডিজিএক্স ওএস ফার্মওয়্যার থেকে কার্নেল থেকে ইউজারস্পেসে বুট চেইনের অখণ্ডতা যাচাই করে। প্রতিটি উপাদান ক্রিপ্টোগ্রাফিকভাবে স্বাক্ষরিত, ট্যাম্পারড কার্নেল বা রুটকিট লোড হতে বাধা দেয়। এটি ভাগ করা পরিবেশে বিশেষভাবে গুরুত্বপূর্ণ যেখানে একাধিক দল একই হার্ডওয়্যার অ্যাক্সেস করে।

এনক্রিপ্ট করা সঞ্চয়স্থান: ফুল-ডিস্ক এনক্রিপশন বাক্সের বাইরে উপলব্ধ, OS ড্রাইভ এবং উচ্চ-গতির NVMe স্টোরেজ উভয়েই বিশ্রামে ডেটা রক্ষা করে। কী ব্যবস্থাপনা HashiCorp ভল্ট এবং হার্ডওয়্যার নিরাপত্তা মডিউলের মতো এন্টারপ্রাইজ সিস্টেমের সাথে একীভূত হয়।

নেটওয়ার্ক বিচ্ছিন্নতা: DGX OS সূক্ষ্ম-দানাযুক্ত নেটওয়ার্ক নীতিগুলিকে সমর্থন করে যা একে অপরের থেকে এবং ম্যানেজমেন্ট ট্রাফিক থেকে প্রশিক্ষণের কাজগুলিকে আলাদা করে। GPU-সরাসরি RDMA ট্র্যাফিক ডেডিকেটেড InfiniBand পার্টিশনের উপর দিয়ে প্রবাহিত হয়, শেয়ার্ড ক্লাস্টারে ভাড়াটেদের মধ্যে ডেটা লিকেজ প্রতিরোধ করে।

অডিট লগিং: সমস্ত প্রশাসনিক কর্ম, GPU বরাদ্দ, এবং কন্টেইনার লঞ্চগুলি একটি টেম্পার-প্রতিরোধী অডিট ট্রেইলে লগ করা হয়েছে৷ এই লগগুলি সম্মতি পর্যবেক্ষণের জন্য স্ট্যান্ডার্ড SIEM প্ল্যাটফর্মের সাথে একীভূত হয়।

পারফরম্যান্স টিউনিং আউট অফ দ্য বক্স

DGX OS-এ শত শত পারফরম্যান্স অপ্টিমাইজেশান রয়েছে যা ম্যানুয়ালি প্রয়োগ করতে বিশেষজ্ঞ সিস্টেম অ্যাডমিনিস্ট্রেটর সপ্তাহ খানেক সময় নেয়। কার্নেলটি সর্বোত্তম CPU গভর্নর সেটিংস, NUMA-সচেতন মেমরি বরাদ্দ এবং টিউন করা নেটওয়ার্ক স্ট্যাক প্যারামিটারের সাথে কনফিগার করা হয়েছে। GPU পারসিসটেন্স মোড ডিফল্টরূপে সক্রিয় করা হয়, স্টার্টআপ লেটেন্সি দূর করে যা স্ট্যান্ডার্ড লিনাক্সে ডেভেলপমেন্ট ওয়ার্কফ্লোকে আঘাত করে। বিশাল পৃষ্ঠাগুলি GPU মেমরি ম্যাপিংয়ের জন্য আগে থেকে বরাদ্দ করা হয়েছে। IRQ অ্যাফিনিটি ডেটা স্থানান্তরের সময় CPU ওভারহেডকে মিনিমাইজ করার জন্য সেট করা হয়েছে।

ফলাফল পরিমাপযোগ্য। বেঞ্চমার্ক তুলনাগুলি ধারাবাহিকভাবে দেখায় যে DGX OS ম্যানুয়ালি ইনস্টল করা ড্রাইভারগুলির সাথে একই হার্ডওয়্যার চালিত স্টক উবুন্টুর তুলনায় পাঁচ থেকে পনের শতাংশ বেশি প্রশিক্ষণের থ্রুপুট সরবরাহ করে, একটি পার্থক্য যা বহু দিনের প্রশিক্ষণের সাথে উল্লেখযোগ্য সময় এবং খরচ সাশ্রয় করে।

কার ডিজিএক্স ওএস বনাম স্ট্যান্ডার্ড উবুন্টু দরকার?

DGX OS সবার জন্য নয় এবং এটি কখন মান যোগ করে তা বোঝা গুরুত্বপূর্ণ৷ আপনি যদি জুপিটার নোটবুক থেকে একক GPU পরীক্ষা-নিরীক্ষা চালিয়ে একক গবেষক হন, তাহলে ম্যানুয়ালি ইনস্টল করা CUDA টুলকিট সহ স্ট্যান্ডার্ড উবুন্টু পুরোপুরি পর্যাপ্ত। DGX OS এর এন্টারপ্রাইজ বৈশিষ্ট্যগুলির ওভারহেড সুবিধা ছাড়াই জটিলতা যোগ করবে।

যখন আপনার একাধিক GPU বা নোড থাকে, যখন একাধিক ব্যবহারকারী হার্ডওয়্যার ভাগ করে, যখন আপনার বিকাশ এবং উত্পাদন জুড়ে পুনরুত্পাদনযোগ্য পরিবেশের প্রয়োজন হয়, বা যখন সম্মতির প্রয়োজনীয়তাগুলি সিকিউর বুট এবং অডিট লগিংয়ের মতো সুরক্ষা বৈশিষ্ট্যগুলিকে বাধ্যতামূলক করে। এই পরিস্থিতিতে, সেটআপের সময় বাঁচানো, কনফিগারেশন ড্রিফ্ট হ্রাস এবং বৈধ সফ্টওয়্যার স্ট্যাক থেকে মানসিক শান্তি বিনিয়োগকে ন্যায্যতা দেয়।

Lenovo ThinkStation PGX-এ DGX OS

DGX ইকোসিস্টেমের একটি উল্লেখযোগ্য সম্প্রসারণে, NVIDIA থিঙ্কস্টেশন PGX-এ DGX OS আনতে Lenovo-এর সাথে অংশীদারিত্ব করেছে, একটি ওয়ার্কস্টেশন-শ্রেণীর সিস্টেম যা এআই ডেভেলপমেন্টের জন্য ডিজাইন করা হয়েছে। ThinkStation PGX NVIDIA GPU-কে Lenovo-এর ওয়ার্কস্টেশন ডিজাইন, তাপ ব্যবস্থাপনা এবং সমর্থন পরিকাঠামোর সাথে যুক্ত করে, যখন DGX OS পূর্বে শুধুমাত্র NVIDIA-ব্র্যান্ডেড হার্ডওয়্যারে উপলব্ধ সফ্টওয়্যার অভিজ্ঞতা প্রদান করে।

এই অংশীদারিত্ব গুরুত্বপূর্ণ কারণ এটি এন্টারপ্রাইজ AI ক্ষমতাগুলিকে একটি ফর্ম ফ্যাক্টরের সাথে নিয়ে আসে যা একটি ডেস্কের নীচে ফিট করে৷ যে দলগুলির DGX-শ্রেণীর সফ্টওয়্যার প্রয়োজন কিন্তু একটি ডেটা সেন্টার র‌্যাককে ন্যায্যতা দিতে পারে না তারা এখন অফিস পরিবেশে ThinkStation PGX সিস্টেম স্থাপন করতে পারে এবং ডেটা সেন্টারে DGX সিস্টেমে চলমান একই বৈধ স্ট্যাক সহ।

সেটআপ এবং প্রথম ধাপ

DGX OS দিয়ে শুরু করা আপনার হার্ডওয়্যারের উপর নির্ভর করে। NVIDIA DGX সিস্টেমে, OS আগে থেকে ইনস্টল করা হয়। ThinkStation PGX-এর মতো সমর্থিত অংশীদার হার্ডওয়্যারে, আপনি NVIDIA-এর এন্টারপ্রাইজ পোর্টালের মাধ্যমে উপলব্ধ একটি বুটযোগ্য USB ইমেজ থেকে DGX OS ইনস্টল করেন।

ইনস্টলেশনের পরে, প্রথম ধাপ হল এন্টারপ্রাইজ সমর্থন এবং NGC অ্যাক্সেস সক্রিয় করতে NVIDIA-এর লাইসেন্সিং সার্ভারের সাথে সিস্টেমটি নিবন্ধন করা। এরপরে, অন্তর্নির্মিত বৈধতা স্যুট চালিয়ে GPU স্ট্যাক যাচাই করুন:

nvidia-smi
dgxos-validate --full

এটি ড্রাইভার, লাইব্রেরি, আন্তঃসংযোগ এবং স্টোরেজের একটি ব্যাপক চেক চালায়। একবার বৈধতা পাস হয়ে গেলে, আপনার প্রথম NGC কন্টেইনার টানুন এবং সবকিছু প্রত্যাশিতভাবে কাজ করছে তা নিশ্চিত করতে একটি বেঞ্চমার্ক চালান। সেখান থেকে, আপনি ব্যবহারকারীর অ্যাকাউন্টগুলি কনফিগার করতে পারেন, কাজের সময় নির্ধারণের জন্য Slurm বা Kubernetes সেট আপ করতে পারেন এবং আপনার AI ওয়ার্কলোডগুলিকে একটি প্ল্যাটফর্মে অনবোর্ড করা শুরু করতে পারেন যা সেগুলি চালানোর জন্য বিশেষভাবে তৈরি করা হয়েছিল৷