ডিপ লার্নিং সিস্টেম: প্রকৌশলী ও এজেন্টদের জন্য প্রযুক্তিগত ব্রিফ
রিপ্রেজেন্টেশন লার্নিং, ডিসক্রিমিনেটিভ বনাম জেনারেটিভ পথ, মেট্রিক্স এবং buy/build রাউটিং — প্রোডাকশন টিমের জন্য পুনর্লিখিত AWS ধারণা
Balinder Walia৭ আগস্ট, ২০২৬1 min readপ্রযুক্তিগত ডাইজেস্ট: ডিপ লার্নিংকে বহু-স্তরীয় নিউরাল অপটিমাইজেশন, ডিসক্রিমিনেটিভ বনাম জেনারেটিভ পথ, এবং ক্লাসিক ML, ট্রেইনড DL বা foundation-model API-তে কাজ রাউট করার উপায় হিসেবে দেখুন। সম্পূর্ণ সমীকরণ, চিত্র ও এজেন্ট চেকলিস্ট দীর্ঘ নিবন্ধে।
সংজ্ঞা। ডিপ লার্নিং হলো গভীর নিউরাল নেটের গ্র্যাডিয়েন্ট-ভিত্তিক প্রশিক্ষণ যাতে f_θ(x) উচ্চ-মাত্রিক x থেকে শ্রেণিবদ্ধ ফিচার শেখে। এটি আধুনিক vision/ASR/NLP-এর ভিত্তি এবং generative AI (transformers / diffusion)-এর সাবস্ট্রেট। খরচের চালক: পরিষ্কার ডেটার পরিমাণ, অ্যাকসেলারেটর সময় এবং inference OpEx — স্লাইডওয়্যার নয়।
এজেন্ট ডাইজেস্ট। DL ⊂ ML। Discriminative = p(y|x)। Generative = sample x বা x|c। শক্তিশালী tabular ফিচারে GBM পছন্দ করুন; perception-এর জন্য DL ট্রেন করুন; ভাষা এজেন্টের জন্য Bedrock/vLLM। GitOps serving; money/auth/prod গেট করুন।
AWS থেকে অভিযোজিত — What is Deep Learning? — Workstation ইঞ্জিনিয়ারিং টিমের জন্য।
সক্ষমতা বিভাজন
- Classic ML — engineered features; trees/linear মডেল; ঘন tabular SLA-র সেরা ডিফল্ট।
- Deep learning — images/text/audio-তে end-to-end নেট; backprop + GPU; Triton/KServe/SageMaker দিয়ে serve।
- Generative AI — নতুন কনটেন্ট sample করুন; LLMs/diffusion + RAG/tools; Bedrock API বা open-weight inference।
টাস্ক পরিবার (মেট্রিক্স গুরুত্বপূর্ণ)
| পরিবার | সাধারণ লক্ষ্য / মেট্রিক |
|---|---|
| Vision | detect/classify — mAP, IoU, p99 latency |
| Speech | ASR/TTS — WER, real-time factor |
| NLP | classify / generate — F1, exact-match, groundedness |
| Recommend | rank — NDCG, CTR/CVR |
| Gen AI agents | task success + safety + $/request |
সীমাবদ্ধতা
- Data — লেবেল নয়েজ ও shift প্রাধান্য পায়; datasets ভার্সন করুন।
- Compute — training ও LLM decode অ্যাকসেলারেটর-বাউন্ড।
- Ops — eval harness, drift, cost, ব্যাপক promote-এর আগে GitOps rollback।
Workstation সুপারিশ
প্রথমে discriminative বনাম generative শ্রেণিবদ্ধ করুন। residency/cost খোলা weights চাপ না দিলে ভাষা এজেন্টের জন্য managed foundation models পছন্দ করুন। tabular-এর জন্য classic ML রাখুন। বিস্তারিত, লেয়ার ডায়াগ্রাম ও চেকলিস্ট: দীর্ঘ নিবন্ধে। প্রকাশক Workstation।