ডিপ লার্নিং সিস্টেম: ইঞ্জিনিয়ার ও এজেন্টদের জন্য প্রযুক্তিগত ব্রিফ

ডিপ লার্নিং (DL) মাল্টি-লেয়ার নিউরাল নেটওয়ার্ক দিয়ে রিপ্রেজেন্টেশন লার্নিং: প্যারামিটার θ অপ্টিমাইজ করা হয় যাতে ননলিনিয়ার ট্রান্সফর্মের গঠন উচ্চ-মাত্রিক ইনপুট (পিক্সেল, টোকেন, ওয়েভফর্ম)কে টাস্ক আউটপুটে (লেবেল, বক্স, এমবেডিং, বা স্যাম্পল করা সিকোয়েন্স) ম্যাপ করে। এই Workstation প্রযুক্তিগত ব্রিফ Kubernetes, SageMaker ও Bedrock-এ সিস্টেম শিপ করা ইঞ্জিনিয়ার ও AI এজেন্টদের জন্য AWS-এর ধারণাগত ওভারভিউ পুনর্লিখন করে।

প্রাথমিক উৎস: AWS — What is Deep Learning?। স্পেক ও সার্ভিস নাম পরিবর্তন হয়; প্রভিশনিংয়ের আগে বর্তমান AWS ডক যাচাই করুন।

1. আনুষ্ঠানিক সংজ্ঞা

ডিপ মডেল হল L লেয়ারের সমন্বয়ে প্যারামেট্রিক ফাংশন f_θ। লেয়ার ℓ গণনা করে h^(ℓ) = σ(W^(ℓ) h^(ℓ−1) + b^(ℓ)) ননলিনিয়ারিটি σ (ReLU, GELU, SiLU ইত্যাদি) এর জন্য। প্রশিক্ষণ অভিজ্ঞতামূলক ঝুঁকি কমাতে θ = {W, b, …} খোঁজে:

θ* = argmin_θ  (1/N) Σ_i  L( f_θ(x_i), y_i )  +  Ω(θ)
# L = CE / MSE / CTC / contrastive / RL objective, depending on task
# Gradients via reverse-mode autodiff (backpropagation); update with SGD/Adam/…

হাতে ডিজাইন করা ফিচারের উপর নির্ভরশীল শ্যালো পাইপলাইন থেকে ভিন্ন, ডিপ নেট কাঁচা বা হালকা প্রিপ্রসেসড টেনসর থেকে শ্রেণিবিন্যাসিক ফিচার শেখে। তাই DL ভিশন, স্পিচ ও বড় মাপের NLP-তে আধিপত্য করে: ফিচার স্পেস ম্যানুয়াল ইঞ্জিনিয়ারিংয়ের জন্য অত্যন্ত উচ্চ-মাত্রিক।

2. ডিসক্রিমিনেটিভ বনাম জেনারেটিভ ডিপ লার্নিং

ডিসক্রিমিনেটিভ মডেল p(y|x) বা সিদ্ধান্ত সীমানা অনুমান করে — ক্লাসিফায়ার, ডিটেক্টর, র‍্যাংকার, এমবেডার। জেনারেটিভ (deep generative) মডেল p(x) বা p(x|c) অনুমান করে এবং নতুন ইনস্ট্যান্স স্যাম্পল করতে পারে: next-token LLMs, ডিফিউশন ইমেজ মডেল, VAEs, GANs।

প্রোডাক্ট এজেন্টে ব্যবহৃত foundation models বৃহৎ স্কেলে প্রশিক্ষিত ডিপ জেনারেটিভ সিস্টেম, তারপর অ্যালাইন ও সার্ভ করা হয়। Bedrock Converse বা সেল্ফ-হোস্টেড vLLM এন্ডপয়েন্ট কল করা এমন মডেলে ইনফারেন্স — নিচে এখনও ডিপ লার্নিং।

3. প্রোডাকশন সিস্টেম কেন এর উপর নির্ভর করে

ডিপ্লয়ড সারফেস যা ইতিমধ্যে DL (বা DL-backed foundation models) এমবেড করে:

• কথোপকথন এজেন্ট ও কোড সিন্থেসিস
• ASR / TTS ও ভয়েস UI
• সিকোয়েন্সে ফ্রড / অ্যানোমালি স্কোরিং
• পারসেপশন স্ট্যাক (ADAS, শিল্প CV, মেডিক্যাল ইমেজিং)
• ডিপ টাওয়ার দিয়ে পার্সোনালাইজেশন ও সার্চ র‍্যাংকিং

রোডম্যাপ আইটেম যদি «AI ফিচার» হয়, বাস্তবায়ন প্রায় সবসময় ডিপ মডেল, foundation-model API, বা তার উপর হাইব্রিড (RAG + টুল)।

4. টাস্ক ট্যাক্সোনমি (ইমপ্লিমেন্টেশন ম্যাপ)

4.1 কম্পিউটার ভিশন

CNNs / ViTs ইমেজ টেনসরকে ক্লাস, বক্স, মাস্ক বা এমবেডিংয়ে ম্যাপ করে। প্রোডাকশন প্যাটার্ন: কনটেন্ট মডারেশন, অ্যাট্রিবিউট রিকগনিশন, লোগো/PPE ডিটেকশন, ইনলাইন ডিফেক্ট ইন্সপেকশন। মেট্রিক: mAP, IoU, টার্গেট GPU-তে batch size 1-এ লেটেন্সি।

4.2 স্পিচ

অ্যাকoustিক মডেল + ল্যাঙ্গুয়েজ মডেল (বা এন্ড-টু-এন্ড ASR) উচ্চারণ, SNR ও কথার গতির ভিন্নতা সহ্য করে। ওয়ার্কলোড: কন্টাক্ট-সেন্টার অ্যাসিস্ট, ক্লিনিক্যাল ডিকটেশন, ক্যাপশনিং। মেট্রিক: WER, রিয়েল-টাইম ফ্যাক্টর (RTF)।

4.3 NLP

এনকোডার ক্লাসিফায়ার থেকে decoder-only LLMs পর্যন্ত। ওয়ার্কলোড: intent/slot, সারাংশ, ডকুমেন্ট QA, সেন্টিমেন্ট ইনডেক্সিং। LLMs খোলা টেক্সটে আধিপত্য; ছোট এনকোডার এখনও লেটেন্সি-বাউন্ড classify/extract-এ জিতে।

4.4 রিকমেন্ডার

user–item ইন্টারঅ্যাকশন সিকোয়েন্সে two-tower / DeepFM / transformer র‍্যাংকার। আউটপুট: বৈচিত্র্য ও ব্যবসায়িক সীমাবদ্ধতাসহ র‍্যাংকড তালিকা। Offline: NDCG/recall; online: CTR/CVR এক্সপ্লোরেশন কন্ট্রোলসহ।

4.5 জেনারেটিভ অ্যাপ্লিকেশন

স্যাম্পলিং + টুল ব্যবহার: প্রাইভেট কর্পোরায় RAG, কোড অ্যাসিস্ট, ডকুমেন্ট ড্রাফটিং, মাল্টি-এজেন্ট ওয়ার্কফ্লো। AWS-এ: Bedrock FMs বা SageMaker-হোস্টেড ওয়েটস। Workstation এস্টেটে: রেসিডেন্সি বা ইউনিট ইকোনমিক্স প্রয়োজন হলে GitOps-এর অধীনে Kubernetes GPU পুল (vLLM/Ollama)।

5. আর্কিটেকচার: লেয়ার ও ফরওয়ার্ড পাস

• ইনপুট লেয়ার — টেনসর ইন্টারফেস: নরমালাইজড পিক্সেল, টোকেন IDs, log-mel ফ্রেম, বা ট্যাবুলার ভেক্টর।
• হিডেন লেয়ার — ধারাবাহিক রিপ্রেজেন্টেশন ট্রান্সফর্ম। আগের লেয়ার স্থানীয় কাঠামো (এজ, n-grams) ধরে; গভীর লেয়ার টাস্ক সেম্যান্টিক্স। গভীরতা প্রকাশ ক্ষমতা ও কম্পিউট বাড়ায় (FLOPs, অ্যাক্টিভেশন মেমোরি)।
• আউটপুট লেয়ার — টাস্ক হেড: softmax logits, bounding-box রিগ্রেশন, CTC, বা অটোরিগ্রেসিভ ডিকোডিংয়ের জন্য vocab প্রজেকশন।

ট্রেনিং = অনেক ফরওয়ার্ড + ব্যাকওয়ার্ড পাস। ইনফারেন্স = শুধু ফরওয়ার্ড (plus KV-cache / speculative decoding for LLMs)।

6. ML বনাম DL বনাম জেনারেটিভ AI

6.1 শ্যালো ML-এর উপর DL-এর সুবিধা (যখন প্রযোজ্য)

• অসংগঠিত মোডালিটি — শেয়ার্ড এমবেডিং প্যারাফ্রেজ ভ্যারিয়েন্স কমায় («পে» বনাম «টাকা ট্রান্সফার»)।
• ফিচার আবিষ্কার — গ্র্যাডিয়েন্ট ম্যানুয়াল ফিচার তালিকা ছাড়াই উপযোগী ইন্টারনাল খোদাই করে।
• ট্রান্সফার / ফাইন-টিউন — প্রিট্রেইনড ব্যাকবোন পুনর্ব্যবহার; স্ক্র্যাচ থেকে ট্রেনিংয়ের তুলনায় লেবেল ডেটা কম।
• সিকোয়েন্স / সেট মডেলিং — transformers দীর্ঘ-পরিসর নির্ভরতা সামলায় যা bag-of-features মিস করে।

শক্তিশালী ফিচারসহ ঘন ট্যাবুলার ডেটায় ভালো টিউন করা GBM-কে DL স্বয়ংক্রিয়ভাবে হারায় না। ফ্যাশন নয়, মোডালিটি ও ডেটা রেজিম দিয়ে বেছে নিন।

7. ব্যর্থতার ধরন ও সীমাবদ্ধতা

• ডেটা মান — লেবেল নয়েজ ও ডিস্ট্রিবিউশন শিফট ত্রুটি বাজেটে আধিপত্য করে। ডেটাসেট ভার্সন করুন; ট্রেনিং সেটে আসার আগে আউটলায়ার কোয়ারেন্টাইন করুন।
• কম্পিউট — ট্রেনিং ও লার্জ-ব্যাচ ইনফারেন্স অ্যাক্সিলারেটর-বাউন্ড। ছোট GPU বহু-দিনের লুপ তৈরি করে ও ইটারেশন স্পিড মারে।
• Ops — eval গেট, ড্রিফট মনিটর, খরচ টেলিমেট্রি ও রোলব্যাক (GitOps) ছাড়া, আর্কিটেকচার ডায়াগ্রাম যাই হোক, মডেল প্রোডাকশনে পচে যায়।

8. ক্লাউড অ্যাক্সিলারেশন বনাম সেল্ফ-হোস্ট

ক্লাউড পরীক্ষার চক্র সংক্ষিপ্ত করে: ইলাস্টিক GPU/CPU পুল, ম্যানেজড নোটবুক/পাইপলাইন, এবং API হিসেবে foundation models। AWS বিল্ডিং ব্লক:

• Amazon SageMaker — কাস্টম DL আর্টিফ্যাক্ট ট্রেন, টিউন, হোস্ট।
• Amazon Bedrock — IAM, Guardrails ও ঐচ্ছিক ZDR দিয়ে foundation models ইনভোক।

ওপেন ওয়েটস, ডেটা রেসিডেন্সি বা টোকেন ইকোনমিক্স নিজস্ব GPU-এর পক্ষে হলে Kubernetes-এ সেল্ফ-হোস্ট করুন। প্যাটার্ন: model registry + KServe/vLLM + Argo CD সিঙ্ক।

9. এক্সিকিউশন চেকলিস্ট

1. টাস্ককে পরিমাপযোগ্য উদ্দেশ্য হিসেবে লিখুন (মেট্রিক + লেটেন্সি + ঝুঁকি শ্রেণি)।
2. চিত্র B থেকে স্ট্যাক লেয়ার বেছে নিন; ট্যাবুলার স্কোরকার্ডের জন্য gen AI-তে লাফাবেন না।
3. ডেটা প্রিপ + ইনফারেন্স OpEx বাজেট করুন; ট্রেনিং প্রায়শই আজীবন খরচের সংখ্যালঘু।
4. ব্যাপক রোলআউটের আগে eval হারনেস ইমপ্লিমেন্ট করুন; ড্রিফট অ্যালার্ট ওয়্যার করুন।
5. পরবর্তী পঠন: LLM সার্ভিং বা Bedrock এজেন্ট।

Workstation কর্তৃক প্রকাশিত — অটোমেশন প্ল্যাটফর্ম, মাল্টি-এজেন্ট সফটওয়্যার, Kubernetes ডেলিভারি।