AWS Bedrock এবং Azure AI Foundry-এ AI মডেলগুলি হোস্ট করা: খরচ নিয়ন্ত্রণ যা স্কেল করে

এক্সিকিউটিভ সারাংশ

এন্টারপ্রাইজ টিমগুলি ক্রমবর্ধমানভাবেহোস্ট ফাউন্ডেশন মডেলগুলিকে ক্লাউডেস্ক্র্যাচ থেকে সবকিছু প্রশিক্ষণের পরিবর্তে।Amazon Bedrockএবংমাইক্রোসফ্ট Azure AI Foundry(Azure OpenAI পরিষেবা এবং একটি বৃহত্তর মডেল ক্যাটালগের উপর নির্মিত) পরিচালিত APIs, নিরাপত্তা, এবং কমপ্লায়েন্স বিল্ডিং ব্লকগুলি অফার করে—কিন্তুঅনিয়ন্ত্রিত টোকেন ব্যবহার, X

, X

, , XTAG11 মডেলের ভুল ক্ষমতা অনুপস্থিত পর্যবেক্ষণযোগ্যতাএকজন পাইলটকে একটি আশ্চর্য চালানে পরিণত করতে পারে। এই নিবন্ধটি কীভাবে উদ্ভাবনকে ব্লক না করেউভয় প্ল্যাটফর্মে উৎপাদন কাজের লোড স্থাপন করতে হয় এবংখরচ নিয়ন্ত্রণে রাখে তার রূপরেখা দেয়৷

কেন স্ব-পরিচালিত GPU এর পরিবর্তে হোস্টিং পরিচালনা করা হয়?

স্ব-হোস্টিং ডেডিকেটেড প্ল্যাটফর্ম টিমের সাথে স্থির, উচ্চ-ভলিউম ওয়ার্কলোডের জন্য জিততে পারে। অনেক সংস্থার জন্য, পরিচালিত পরিষেবাগুলি অপ্রত্যাশিত ভারী উত্তোলনকে হ্রাস করে: প্যাচিং, আঞ্চলিক প্রাপ্যতা, দরকষাকষিকৃত SLA, এবং পরিচয় এবং ডেটা শাসনের সাথে একীকরণ। ট্রেড-অফ হলইউনিট ইকোনমিক্স আপনাকে অবশ্যই সক্রিয়ভাবেপরিচালনা করতে হবে —বিশেষ করে যখন গ্রহণের সাথে ব্যবহার বৃদ্ধি পায়।

• অনুমানযোগ্য নিরাপত্তা ভঙ্গি:ব্যক্তিগত সংযোগ, এনক্রিপশন, কী ব্যবস্থাপনা, এবং অডিট ট্রেলগুলি এন্টারপ্রাইজ নীতিগুলির সাথে সারিবদ্ধ।
• দ্রুত সময়ের থেকে মান:প্রতিটি পরীক্ষার জন্য ক্লাস্টার পুনর্নির্মাণের পরিবর্তে API এর মাধ্যমে মডেলগুলি অদলবদল করুন বা তুলনা করুন৷
• স্থিতিস্থাপক স্কেল: দীর্ঘস্থায়ী GPU ক্ষমতা ছাড়া প্রচারের জন্যবার্স্ট—যদি আপনি বাজেট এবং সতর্কতার সাথে স্থিতিস্থাপকতা যুক্ত করেন।

AWS Bedrock: প্রথম দিকের

অ্যামাজন Bedrockএকটি সাধারণ API পৃষ্ঠের পিছনে একাধিক ফাউন্ডেশন মডেলকে কী প্রমিত করতে হবে৷ খরচ নিয়ন্ত্রণঅ্যাকাউন্ট কাঠামোএবংগার্ডেলদিয়ে শুরু হয়, শুধুমাত্র মডেল পছন্দ নয়।

• মডেল নির্বাচন:টাস্ক জটিলতাকে মডেল স্তরের সাথে মেলান—শ্রেণীবিভাগ, রাউটিং এবং নিষ্কাশনের জন্য ছোট, দ্রুত মডেল ব্যবহার করুন; সবচেয়ে বড় মাল্টিমোডাল মডেলগুলিকে সেই কাজের জন্য রিজার্ভ করুন যেগুলি সত্যিই তাদের প্রয়োজন৷
• অন-ডিমান্ড বনাম প্রভিশনড থ্রুপুট:অন-ডিমান্ড স্পাইকি বা অন্বেষণমূলক ট্র্যাফিক ফিট করে৷ আপনি যদি টোকেন-প্রতি-মিনিটের প্রয়োজনীয়তা বজায় রাখেন, তাহলে অনুমানযোগ্য শিখরগুলির জন্য খরচ স্থিতিশীল করতেপ্রভিশনড থ্রুপুটমূল্যায়ন করুন—সর্বদা একটি প্রতিনিধি উইন্ডোতে পরিমাপ করা ব্যবহারের সাথে তুলনা করুন।
• ব্যাচ ইনফারেন্স:অফলাইন স্কোরিং, সারসংক্ষেপ ব্যাকলগ বা ডেটাসেট লেবেলিংয়ের জন্য, ব্যাচ API-এর পরিমার্জিত কাজ এবং প্রায়শই ইন্টারেক্টিভ চ্যাট পাথের বিপরীতে মূল্য-প্রতি-টোকেন উন্নত করে।
• প্রম্পট ক্যাশিং & পুনঃব্যবহার:যেখানে প্ল্যাটফর্মটি ক্যাশিং লং সিস্টেম প্রম্পট বা পুনরুদ্ধার করা প্রসঙ্গে সমর্থন করে, পুনঃব্যবহার বারবার কাঠামোর জন্য বিল করা ইনপুট টোকেন হ্রাস করে।
• আঞ্চলিক কৌশল:মূল্য এবং ডেটা রেসিডেন্সি অঞ্চল অনুসারে পরিবর্তিত হয়; কাজের চাপকে কেন্দ্রীভূত করুন যেখানে সম্মতি দুর্ঘটনাজনিত বহু-অঞ্চলের বিস্তৃতি এড়াতে অনুমতি দেয়।
• পর্যবেক্ষণযোগ্যতা:প্রতি-অ্যাপ্লিকেশনঅনুরোধ আইডিগুলিনির্গত করুন, যেখানে সম্ভব ক্লায়েন্ট-সাইড লগ টোকেন গণনা করে এবং চার্জব্যাকের জন্য ক্লাউডওয়াচ এবং খরচ বরাদ্দ ট্যাগের সাথে সম্পর্কযুক্ত।

Azure AI Foundry: স্থাপনা এবং ব্যয় নিয়ন্ত্রণ

Azure AI FoundryAzure-এ মডেল স্থাপনা, টুলিং এবং পরিচালনাকে একত্রিত করে। আপনি সাধারণতনিয়োজিত মডেলগুলি(Azure OpenAI–সামঞ্জস্যপূর্ণ শেষ পয়েন্ট সহ) এবং অনুসন্ধান, মূল্যায়ন এবং পর্যবেক্ষণের জন্য আশেপাশের পরিষেবাগুলির সাথে ইন্টারঅ্যাক্ট করবেন৷

• ডিপ্লোয়মেন্টের ধরন:খরচ-ভিত্তিক শেষ পয়েন্ট এবং সংরক্ষিত ক্ষমতা বিকল্পগুলির মধ্যে পার্থক্য বুঝুন (যেমন প্রযোজ্য থ্রুপুট ইউনিটগুলি)। সংকীর্ণ লেটেন্সি টার্গেট সহ অবিচলিত উত্পাদন ট্র্যাফিক প্রায়শই সংরক্ষিত ক্ষমতা থেকে উপকৃত হয়; বিস্ফোরিত অভ্যন্তরীণ সরঞ্জামগুলি আপনি-যেমন-পে-তে থাকতে পারে।
• হারের সীমা এবং কোটা:সাবস্ক্রিপশন এবং ওয়ার্কস্পেস-স্তরের সীমা সেট করুন যাতে একজন ভাড়াটে শেয়ার করা ক্ষমতা শেষ করতে না পারে—পুনরায় চেষ্টা নীতি এবং ক্লায়েন্ট-সাইড ব্যাকঅফের সাথে জোড়া৷
• বিষয়বস্তু নিরাপত্তা এবং ফিল্টার:অননুমোদিত প্রম্পটগুলিতে নষ্ট অনুমান এড়াতে অপব্যবহারের বিভাগগুলিকে তাড়াতাড়ি ব্লক করুন—সুরক্ষা ফিল্টারকে ঝুঁকি এবং খরচ নিয়ন্ত্রণ উভয় হিসাবে বিবেচনা করুন।
• Azure মনিটরের সাথে ইন্টিগ্রেশন:ট্র্যাক লেটেন্সি, টোকেন ব্যবহার এবং ত্রুটির হার; খরচ ব্যবস্থাপনা রপ্তানির পাশাপাশি FinOps পর্যালোচনার জন্য ড্যাশবোর্ডে রপ্তানি করুন।
• প্রাইভেট নেটওয়ার্কিং:প্রাইভেট এন্ডপয়েন্ট এবং ম্যানেজড আইডেন্টিটি ব্যবহার করে অ্যাটাক সারফেস কমাতে ট্রাফিককে অনুমানযোগ্য পাথে মেনে চলার জন্য ব্যবহার করুন। Azure-এ

এন্টারপ্রাইজ এজেন্ট: মূল্য এবং কোথায় হোস্ট করতে হবে

প্রোডাকশন এআই এজেন্টের জন্যমাইক্রোসফটের স্ট্যাকে, প্ল্যান খরচ এবং আর্কিটেকচার একই জায়গা থেকে: অফিসিয়াল, মাইক্রোসফ্ট , এবং কম্পাউন্ড 114X প্রোডাকশনের বিকল্প কাস্টম সাইডকার বা API এর জন্য।

• মাইক্রোসফ্ট ফাউন্ড্রি মূল্য— প্ল্যাটফর্ম এবং বৈশিষ্ট্য বিলিং এর হাব (ফাউন্ডেশন-মডেল ব্যবহারের জন্যফাউন্ড্রি মডেলসারি সহ); অঞ্চল এবং মুদ্রা বাছাই করুন, তারপর ক্রস-চেক টোকেন এবং থ্রুপুট অনুমান। ফাউন্ড্রি অভিজ্ঞতা সাবস্ক্রিপশন ছাড়াই অন্বেষণ করা যেতে পারে; বিলযোগ্য পরিষেবাগুলি তাদের তালিকাভুক্ত মিটার অনুসরণ করে (পৃষ্ঠা FAQ দেখুন)।
• Azure AI এজেন্ট পরিষেবা মূল্য— এন্টারপ্রাইজ এজেন্ট কাজের চাপের জন্য অর্কেস্ট্রেশন এবং হোস্টিং (বর্তমান এজেন্ট পরিষেবা মূল্যের বিশদ পৃষ্ঠায় পুনঃনির্দেশ করে)।
• Microsoft ফাউন্ড্রি ডকুমেন্টেশন— এক জায়গায় এজেন্ট এবং অ্যাপ তৈরি, মূল্যায়ন, স্থাপন এবং পরিচালনা করুন৷
• Azure মূল্য ক্যালকুলেটর— ব্যাপক রোলআউটের আগে মাসিক খরচ অনুমান করুন; প্রোগ্রাম-নির্দিষ্ট হারের জন্য সাইন ইন করুন।
• Azure কন্টেইনার অ্যাপস— HTTP বা ফাউন্ড্রি API-এর পাশে বসে থাকা সারি-চালিত এজেন্ট পরিষেবাগুলির জন্য সার্ভারহীন-স্টাইল হোস্টিং৷
• Azure Kubernetes পরিষেবা (AKS)— যখন আপনার বেসপোক এজেন্ট রানটাইমের জন্য ক্লাস্টার-লেভেল কন্ট্রোল (নেটওয়ার্ক নীতি, GPU নোড পুল, মাল্টি-টেন্যান্ট নেমস্পেস) প্রয়োজন।

একসাথে,Microsoft ফাউন্ড্রি মূল্যহাব এবংএজেন্ট পরিষেবাহারগুলি এন্টারপ্রাইজ এজেন্ট রোডম্যাপের জন্য অর্থ এবং প্ল্যাটফর্ম দলগুলিকে একটি সংরক্ষিত বেসলাইন দেয়৷

ক্রস-ক্লাউড খরচ নিয়ন্ত্রণ প্লেবুক

বিক্রেতা নির্বিশেষে, একই FinOps প্যাটার্নগুলি প্রযোজ্য৷

1. টোকেন বাজেট এবং মালিকানা

প্রতিটি কাজের চাপেখরচ কেন্দ্রগুলিবরাদ্দ করুন—গ্রাহক সহায়তা বট, অভ্যন্তরীণ কপিলট, ব্যাচ পাইপলাইন—মাসিক টোকেন বা খরচের ক্যাপ সহ। পণ্য মালিকদের কাছে সারফেস রিয়েল-টাইম ব্যবহার; প্রকৌশলীরা কি পণ্য পরিমাপ অপ্টিমাইজ করে।

2. রাউটিং এবং ছোট মডেলগুলি

একটিরাউটার স্তর(নিয়ম-ভিত্তিক বা লাইটওয়েট ক্লাসিফায়ার) সন্নিবেশ করান যাতে ছোট, সস্তা মডেলগুলিতে সহজ প্রশ্ন পাঠানো হয় এবং আত্মবিশ্বাস কম হলেই তা বৃদ্ধি করে৷ এই একক প্যাটার্ন প্রায়শই গুণমানের ক্ষতি না করেই সবচেয়ে বেশি সঞ্চয় করে।

3. জায়ান্ট প্রম্পটের পরিবর্তে পুনরুদ্ধার করুন

প্রেফার উইন্ডোতে সম্পূর্ণ নথি স্টাফ করার চেয়ে সংক্ষিপ্ত পুনরুদ্ধার করা অংশগুলির সাথেRAGপছন্দ করুন৷ কম ইনপুট টোকেন সরাসরি খরচ কমায় এবং প্রায়ই সঠিকতা উন্নত করে।

4. ক্যাশিং উত্তরগুলি

ক্যাশে ডিটারমিনিস্টিক বা অ্যাপ্লিকেশান প্রান্তে (Redis, CDN, API গেটওয়ে) প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী এবং পুনরাবৃত্ত বিশ্লেষণমূলক প্রশ্নগুলির জন্য ক্যাশে নির্ধারক বা কাছাকাছি-নির্ধারণবাদী প্রতিক্রিয়া—প্রতিবার অভিন্ন প্রম্পটের সময় পুনরায় অনুমান করবেন না৷

5. ব্যাচ এবং অফ-পিক ওয়ার্কলোডগুলি

ব্যাচবা অফ-পিক উইন্ডোতে সংক্ষিপ্তকরণ, সূচীকরণ এবং মূল্যায়ন কাজের সময়সূচী নির্ধারণ করুন যখন ছাড় বা নিম্নতর বিতর্ক প্রযোজ্য৷

6. স্ট্রাকচার্ড আউটপুট

ফলো-আপ টার্ন ছোট করতে এবং মাল্টি-স্টেপ চ্যাট লুপগুলি কমাতে JSON বা স্কিমা-সীমাবদ্ধ আউটপুটগুলির জন্য জিজ্ঞাসা করুন৷

7. ক্রমাগত মূল্যায়ন

মডেলগুলি স্যুইচ করার সময় পর্যায়ক্রমিক বেঞ্চমার্কগুলি চালান—যদি একটি সস্তা মডেল আপনার মূল্যায়ন সেটের গুণমানের সাথে মেলে, তবে এটিকে রাউটিং নিয়মে প্রচার করুন৷

গ্রিডলক ছাড়া শাসন

খরচ নিয়ন্ত্রণ শুধুমাত্র প্রযুক্তিগত নয়। নতুন উচ্চ-ব্যয় এন্ডপয়েন্টের জন্যলাইটওয়েট অনুমোদনস্থাপন করুন, আর্কিটেকচারের সিদ্ধান্তের নথিতে নথির মডেল পছন্দ এবং প্রম্পট হাইজিনের উপর প্রশিক্ষণ টিম (বাক্যতা ব্যয়বহুল)। নিরাপত্তা পর্যালোচনাগুলিকে খরচ পর্যালোচনার সাথে সারিবদ্ধ করুন যাতে আপনি স্কেল করার সাথে সাথে ব্যক্তিগত এন্ডপয়েন্ট এবং লগিং যথাস্থানে থাকে।

কিভাবে Workstation

Workstation টিমগুলিকেমাল্টি-ক্লাউড AI প্ল্যাটফর্মডিজাইন করতে সাহায্য করে : Bedrock এবং Azure AI Foundry-এর জন্য ল্যান্ডিং জোন, পরিচয়, পর্যবেক্ষণযোগ্যতা এবং নিরাপদ প্যাটার্নস-এর অন্তর্ভুক্ত যা ফিনবোর্ড এবং ফিনবোর্ডগুলিকে অনুসরণ করবে। আর্কিটেকচার পর্যালোচনা বা বিতরণ সহায়তার জন্য,info@workstation.co.uk-এর সাথে যোগাযোগ করুন।