Balinder Walia
บทสรุปผู้บริหาร
ทีมองค์กรมีโฮสต์โมเดลพื้นฐานบนคลาวด์มากขึ้น แทนที่จะฝึกอบรมทุกอย่างตั้งแต่เริ่มต้นAmazon BedrockและMicrosoft Azure AI Foundry(สร้างขึ้นบนบริการ Azure OpenAI และแค็ตตาล็อกรุ่นที่กว้างกว่า) นำเสนอ APIs ที่มีการจัดการ การรักษาความปลอดภัย และบล็อคการสร้างการปฏิบัติตามข้อกำหนด แต่การใช้โทเค็นที่ไม่สามารถควบคุมได้,รุ่นความจุผิดและขาดความสามารถในการสังเกตสามารถเปลี่ยนนักบินให้กลายเป็นเรื่องประหลาดใจได้ ใบแจ้งหนี้ บทความนี้สรุปวิธีการปรับใช้ปริมาณงานการผลิตบนทั้งสองแพลตฟอร์ม และควบคุมต้นทุนได้โดยไม่ปิดกั้นนวัตกรรม
เหตุใดจึงมีการจัดการโฮสติ้งแทนที่จะเป็น GPU ที่จัดการด้วยตนเอง
การโฮสต์ด้วยตนเองสามารถชนะได้ด้วยปริมาณงานที่มั่นคงและมีปริมาณมากด้วยทีมงานแพลตฟอร์มเฉพาะ สำหรับองค์กรจำนวนมาก บริการที่ได้รับการจัดการจะช่วยลดการยกของหนักที่ไม่แตกต่าง: การแพตช์ ความพร้อมใช้งานระดับภูมิภาค SLA ที่มีการเจรจา และการผสานรวมกับการกำกับดูแลข้อมูลประจำตัวและข้อมูล ข้อเสียเปรียบคือการประหยัดต่อหน่วยของคุณต้องจัดการอย่างจริงจัง โดยเฉพาะอย่างยิ่งเมื่อการใช้งานพุ่งสูงขึ้นเมื่อมีการนำไปใช้
- มาตรการรักษาความปลอดภัยที่คาดการณ์ได้:การเชื่อมต่อส่วนตัว การเข้ารหัส การจัดการคีย์ และเส้นทางการตรวจสอบสอดคล้องกับนโยบายองค์กร
- เวลาต่อมูลค่าเร็วขึ้น:สลับหรือเปรียบเทียบแบบจำลองผ่าน API แทนที่จะสร้างคลัสเตอร์ใหม่สำหรับการทดสอบแต่ละครั้ง
- สเกลยืดหยุ่น:Burst สำหรับแคมเปญที่ไม่มีความจุ GPU ระยะยาว หากคุณจับคู่ความยืดหยุ่นกับงบประมาณและการแจ้งเตือน
AWS Bedrock: สิ่งที่จะทำให้
รุ่นแรกๆ เป็นมาตรฐาน Amazon Bedrockเปิดเผยโมเดลพื้นฐานหลายรุ่นเบื้องหลังพื้นผิว API ทั่วไป การควบคุมต้นทุนเริ่มต้นด้วยโครงสร้างบัญชีและguardrailsไม่ใช่แค่ตัวเลือกรุ่นเท่านั้น
- การเลือกโมเดล:จับคู่ความซับซ้อนของงานกับระดับโมเดล—ใช้โมเดลที่เล็กกว่าและเร็วกว่าสำหรับการจัดประเภท การกำหนดเส้นทาง และการแยกข้อมูล จองโมเดลต่อเนื่องหลายรูปแบบที่ใหญ่ที่สุดไว้สำหรับงานที่ต้องการมันจริงๆ
- ตามความต้องการเทียบกับปริมาณการประมวลผลที่เตรียมใช้งาน:ตามความต้องการเหมาะกับการรับส่งข้อมูลที่แหลมคมหรือเชิงสำรวจ หากคุณมีข้อกำหนดโทเค็นต่อนาทีที่ยั่งยืน ให้ประเมินปริมาณการประมวลผลที่เตรียมใช้งานเพื่อรักษาเสถียรภาพต้นทุนสำหรับจุดสูงสุดที่คาดการณ์ได้ โดยเปรียบเทียบกับการใช้งานที่วัดได้ผ่านหน้าต่างตัวแทนเสมอ
- การอนุมานแบบแบตช์:สำหรับการให้คะแนนแบบออฟไลน์ งานค้างในการสรุป หรือการติดป้ายกำกับชุดข้อมูล การตัดจำหน่าย API แบบแบตช์ และมักจะปรับปรุงราคาต่อโทเค็นเทียบกับเส้นทางแชทแบบโต้ตอบ
- พร้อมท์แคช & การใช้ซ้ำ:ในกรณีที่แพลตฟอร์มรองรับการแคชพร้อมท์ของระบบแบบยาวหรือบริบทที่ดึงข้อมูล การใช้ซ้ำจะลดโทเค็นอินพุตที่เรียกเก็บเงินสำหรับโครงสร้างที่ซ้ำกัน
- กลยุทธ์ระดับภูมิภาค:ราคาและถิ่นที่อยู่ของข้อมูลแตกต่างกันไปตามภูมิภาค รวมศูนย์ปริมาณงานซึ่งการปฏิบัติตามกฎระเบียบช่วยให้หลีกเลี่ยงการแผ่ขยายหลายภูมิภาคโดยไม่ตั้งใจ
- ความสามารถในการสังเกต:ปล่อยรหัสคำขอต่อแอปพลิเคชันโทเค็นบันทึกจะนับฝั่งไคลเอ็นต์หากเป็นไปได้ และสัมพันธ์กับ CloudWatch และแท็กการจัดสรรต้นทุนสำหรับการปฏิเสธการชำระเงิน
Azure AI Foundry: การปรับใช้และการควบคุมการใช้จ่าย
Azure AI Foundryรวบรวมการปรับใช้โมเดล เครื่องมือ และการกำกับดูแลบน Azure โดยทั่วไปคุณจะโต้ตอบกับรุ่นที่ปรับใช้(รวมถึงจุดสิ้นสุดที่เข้ากันได้กับ Azure OpenAI) และบริการโดยรอบสำหรับการค้นหา การประเมิน และการตรวจสอบ
- ประเภทการใช้งาน:ทำความเข้าใจความแตกต่างระหว่างจุดสิ้นสุดตามการใช้งานและตัวเลือกความจุที่สงวนไว้ (เช่น หน่วยปริมาณการประมวลผลที่จัดเตรียมไว้ หากมี) ปริมาณการผลิตที่มั่นคงโดยมีเป้าหมายแฝงที่แคบมักจะได้รับประโยชน์จากกำลังการผลิตที่สงวนไว้ เครื่องมือภายในที่ระเบิดอาจยังคงจ่ายตามการใช้งาน
- ขีดจำกัดอัตราและโควต้า:ตั้งค่าการสมัครสมาชิกและขีดจำกัดระดับพื้นที่ทำงาน เพื่อให้ผู้เช่ารายหนึ่งไม่สามารถใช้ความจุที่ใช้ร่วมกันจนหมด—จับคู่กับนโยบายการลองใหม่และการแบ็คออฟฝั่งไคลเอ็นต์
- ความปลอดภัยของเนื้อหาและตัวกรอง:บล็อกหมวดหมู่การละเมิดตั้งแต่เนิ่นๆ เพื่อหลีกเลี่ยงการอนุมานโดยเปล่าประโยชน์ในข้อความแจ้งที่ไม่ได้รับอนุญาต ถือว่าตัวกรองความปลอดภัยเป็นทั้งความเสี่ยงและการควบคุมต้นทุน
- การบูรณาการกับจอภาพ Azure:ติดตามเวลาแฝง การใช้โทเค็น และอัตราข้อผิดพลาด ส่งออกไปยังแดชบอร์ดสำหรับการตรวจสอบ FinOps ควบคู่ไปกับการส่งออกการจัดการต้นทุน
- เครือข่ายส่วนตัว:ใช้อุปกรณ์ปลายทางส่วนตัวและข้อมูลระบุตัวตนที่ได้รับการจัดการเพื่อลดพื้นที่การโจมตี ในขณะเดียวกันก็รักษาการรับส่งข้อมูลบนเส้นทางที่คาดเดาได้เพื่อให้เป็นไปตามข้อกำหนด
ตัวแทนองค์กรบน Azure: ราคาและสถานที่ที่จะโฮสต์
สำหรับตัวแทน AI การผลิตบนสแต็กของ Microsoft วางแผนการใช้จ่ายและสถาปัตยกรรมจากที่เดียวกัน:อย่างเป็นทางการ ราคา Microsoft Foundryบริการตัวแทน และการคำนวณเสริมสำหรับไซด์คาร์แบบกำหนดเองหรือ API
- ราคา Microsoft Foundry— ฮับสำหรับแพลตฟอร์มและการเรียกเก็บเงินฟีเจอร์ (รวมถึงแถวFoundry Modelsสำหรับการใช้งานรุ่นพื้นฐาน); เลือกภูมิภาคและสกุลเงิน จากนั้นตรวจสอบโทเค็นและสมมติฐานปริมาณงาน สามารถสำรวจประสบการณ์ Foundry ได้โดยไม่ต้องสมัครสมาชิก บริการที่เรียกเก็บเงินได้จะเป็นไปตามมิเตอร์ที่ระบุไว้ (ดูหน้าคำถามที่พบบ่อย) ราคา
- Azure AI Agent Service— การจัดระบบและการโฮสต์สำหรับเวิร์กโหลดตัวแทนระดับองค์กร (เปลี่ยนเส้นทางไปยังหน้ารายละเอียดราคาบริการตัวแทนปัจจุบัน)
- เอกสาร Microsoft Foundry— สร้าง ประเมิน ปรับใช้ และควบคุมตัวแทนและแอปได้ในที่เดียว เครื่องคำนวณราคา
- Azure— ประมาณการค่าใช้จ่ายรายเดือนก่อนการเปิดตัวในวงกว้าง ลงชื่อเข้าใช้เพื่อดูอัตราเฉพาะโปรแกรม
- Azure แอปคอนเทนเนอร์— โฮสติ้งแบบไร้เซิร์ฟเวอร์สำหรับ HTTP หรือบริการตัวแทนที่ขับเคลื่อนด้วยคิวซึ่งอยู่ข้างๆ Foundry API
- Azure Kubernetes Service (AKS)— เมื่อคุณต้องการการควบคุมระดับคลัสเตอร์ (นโยบายเครือข่าย, GPU Node Pools, เนมสเปซหลายผู้เช่า) สำหรับรันไทม์ของตัวแทนตามความต้องการ
เมื่อรวมกันแล้ว ราคาMicrosoft Foundry ฮับและอัตราAgent Serviceช่วยให้ทีมการเงินและแพลตฟอร์มมีพื้นฐานที่สามารถป้องกันได้สำหรับโรดแมปตัวแทนระดับองค์กร
Playbook การควบคุมต้นทุนข้ามคลาวด์
จะใช้รูปแบบ FinOps เดียวกันโดยไม่คำนึงถึงผู้จำหน่าย
1. งบประมาณโทเค็นและความเป็นเจ้าของ
กำหนดศูนย์ต้นทุนให้กับแต่ละเวิร์กโหลด—บอทสนับสนุนลูกค้า, copilot ภายใน, ไปป์ไลน์แบบแบตช์—ด้วยโทเค็นรายเดือนหรือขีดจำกัดการใช้จ่าย แสดงการใช้งานที่ใกล้เคียงกับเรียลไทม์แก่เจ้าของผลิตภัณฑ์ วิศวกรจะปรับมาตรการวัดผลิตภัณฑ์ให้เหมาะสม
2. การกำหนดเส้นทางและรุ่นที่เล็กกว่า
แทรกเลเยอร์เราเตอร์(ตัวแยกประเภทตามกฎหรือแบบน้ำหนักเบา) เพื่อส่งข้อความค้นหาแบบง่ายๆ ไปยังรุ่นที่เล็กกว่าและถูกกว่า และเพิ่มระดับเฉพาะเมื่อมีความมั่นใจต่ำ รูปแบบเดียวนี้มักให้ผลประหยัดได้มากที่สุดโดยไม่กระทบต่อคุณภาพ
3. การดึงข้อมูลแทนการแจ้งเตือนขนาดยักษ์
ต้องการRAGโดยมีส่วนที่ดึงข้อมูลมาอย่างกระชับมากกว่าการบรรจุเอกสารทั้งหมดลงในหน้าต่างบริบท โทเค็นอินพุตที่น้อยลงจะช่วยลดต้นทุนได้โดยตรงและมักจะปรับปรุงความแม่นยำ
4. การแคชคำตอบ
การตอบสนองของแคชที่กำหนดขึ้นหรือใกล้เคียงที่กำหนดที่ขอบแอปพลิเคชัน (เกตเวย์ Redis, CDN, API) สำหรับคำถามที่พบบ่อยและคำถามเชิงวิเคราะห์ซ้ำ—อย่าอนุมานพร้อมท์ที่เหมือนกันทุกครั้ง
5. ปริมาณงานเป็นชุดและงานนอกช่วงพีค
กำหนดเวลางานสรุป สร้างดัชนี และประเมินผลในชุดหรือหน้าต่างนอกช่วงพีค เมื่อมีส่วนลดหรือข้อโต้แย้งที่ต่ำกว่า
6. เอาต์พุตที่มีโครงสร้าง
ขอ JSON หรือเอาต์พุตที่จำกัดสคีมาเพื่อลดระยะเวลาการเลี้ยวติดตามผลให้สั้นลง และลดลูปการแชทแบบหลายขั้นตอน
7. การประเมินอย่างต่อเนื่อง
เรียกใช้การวัดประสิทธิภาพเป็นระยะเมื่อสลับรุ่น หากแบบจำลองที่ถูกกว่าตรงกับคุณภาพในชุดการประเมินของคุณ ให้เลื่อนระดับในกฎการกำหนดเส้นทาง
การกำกับดูแลโดยไม่มี gridlock
การควบคุมต้นทุนไม่ได้เป็นเพียงด้านเทคนิคเท่านั้น สร้างการอนุมัติแบบน้ำหนักเบาสำหรับ สำหรับปลายทางใหม่ที่มีการใช้จ่ายสูง ตัวเลือกโมเดลเอกสารในบันทึกการตัดสินใจทางสถาปัตยกรรม และฝึกอบรมทีมเกี่ยวกับสุขอนามัยที่รวดเร็ว (การใช้คำฟุ่มเฟือยมีราคาแพง) จัดการตรวจสอบความปลอดภัยให้สอดคล้องกับการตรวจสอบต้นทุน เพื่อให้ปลายทางส่วนตัวและการบันทึกคงอยู่ในขณะที่คุณขยายขนาด
Workstation สามารถช่วยได้อย่างไร
Workstation ช่วยทีมออกแบบแพลตฟอร์ม AI หลายคลาวด์: โซนลงจอด ข้อมูลประจำตัว ความสามารถในการสังเกต และรูปแบบที่ปลอดภัยสำหรับ Bedrock และ Azure AI Foundry รวมถึงแดชบอร์ด FinOps และการกำกับดูแลที่นักพัฒนาจะปฏิบัติตามจริง สำหรับการตรวจสอบสถาปัตยกรรมหรือการสนับสนุนการจัดส่ง โปรดติดต่อinfo@workstation.co.uk