Amazon SageMaker AI รองรับการอนุมานแบบคำนึงถึงความจุพร้อมการสลับอินสแตนซ์อัตโนมัติแล้ว
ตำแหน่งข้อมูลการอนุมานของ Amazon SageMaker AI รองรับการจัดสรรทรัพยากรที่ยืดหยุ่นผ่านรายการประเภทอินสแตนซ์ตามลำดับความสำคัญแล้ว เมื่อประเภทอินสแตนซ์ที่คุณต้องการมีความจุไม่เพียงพอ SageMaker AI จะจัดสรรจากตัวเลือกถัดไปในรายการของคุณโดยอัตโนมัติ ซึ่งช่วยให้การสร้างตำแหน่งข้อมูลและการปรับขนาดอัตโนมัติทำงานได้อย่างราบรื่นโดยไม่ต้องมีการแทรกแซงด้วยตนเอง สิ่งนี้ช่วยให้ทีมที่นำโมเดล AI/ML ไปใช้งานจริงมีความยืดหยุ่นในการรับมือกับข้อจำกัดด้านความจุได้อย่างราบรื่น ช่วยให้มั่นใจได้ว่าตำแหน่งข้อมูลจะทำงานได้อย่างน่าเชื่อถือและปรับขนาดได้ตามความต้องการ
ด้วยการรองรับกลุ่มอินสแตนซ์ คุณสามารถกำหนดรายการประเภทอินสแตนซ์ตามลำดับความสำคัญได้ และ SageMaker AI จะจัดสรรความจุให้โดยอัตโนมัติด้วยการไล่เรียงตามรายการของคุณไปตามลำดับ สิ่งนี้ครอบคลุมทั้งการสร้าง การอัปเดต และการปรับขนาดตำแหน่งข้อมูล เมื่อปรับขนาดลดลง SageMaker AI จะลบอินสแตนซ์ที่มีลำดับความสำคัญต่ำที่สุดออกก่อน เพื่อคงโครงสร้างพื้นฐานที่คุณต้องการไว้ในขณะที่กลุ่มอินสแตนซ์ลดขนาดลง ฟีเจอร์นี้ใช้งานได้กับตำแหน่งข้อมูลแบบโมเดลเดียว, ตำแหน่งข้อมูลแบบอิงตาม InferenceComponent และตำแหน่งข้อมูลการอนุมานแบบอะซิงโครนัส รวมถึงตำแหน่งข้อมูลที่ปรับขนาดเป็นศูนย์ ซึ่ง SageMaker AI จะจัดสรรทรัพยากรจากกลุ่มที่มีลำดับความสำคัญสูงสุดที่พร้อมใช้งานเมื่อปรับขนาดกลับขึ้นมาใหม่
เนื่องจากประเภทอินสแตนซ์สำรองมีความแตกต่างกันทั้งในด้านหน่วยความจำ GPU และความสามารถในการประมวลผล คุณจึงสามารถระบุโมเดลที่ปรับให้เหมาะสมแตกต่างกันไปตามอินสแตนซ์แต่ละประเภทในรายการลำดับความสำคัญได้ คุณสามารถเตรียมอาร์ทิแฟกต์เหล่านี้ด้วยตนเอง หรือเลือกใช้การแนะนำการอนุมานของ SageMaker AI ได้ ซึ่งจะสร้างการกำหนดค่าที่ปรับให้เหมาะสมกับฮาร์ดแวร์โดยอัตโนมัติตามประเภทอินสแตนซ์แต่ละรายการ นอกจากนี้ เมตริก CloudWatch แบบแยกรายประเภทอินสแตนซ์ยังช่วยให้คุณมองเห็นภาพรวมของความหน่วง, อัตราการโอนถ่ายข้อมูล, การใช้งาน GPU และจำนวนอินสแตนซ์ตามประเภทฮาร์ดแวร์ภายในตำแหน่งข้อมูลเดียวได้อีกด้วย
ความสามารถนี้พร้อมให้บริการแล้ววันนี้ในสหรัฐอเมริกาฝั่งตะวันออก (เวอร์จิเนียฝั่งเหนือ), สหรัฐอเมริกาฝั่งตะวันออก (โอไฮโอ), สหรัฐอเมริกาฝั่งตะวันตก (ออริกอน), แคนาดา (ภาคกลาง), อเมริกาใต้ (เซาเปาลู), ยุโรป (ไอร์แลนด์), ยุโรป (ลอนดอน), ยุโรป (แฟรงก์เฟิร์ต), ยุโรป (สตอกโฮล์ม), ยุโรป (ซูริก), เอเชียแปซิฟิก (โตเกียว), เอเชียแปซิฟิก (โซล), เอเชียแปซิฟิก (สิงคโปร์), เอเชียแปซิฟิก (ซิดนีย์), เอเชียแปซิฟิก (มุมไบ) และเอเชียแปซิฟิก (จาการ์ตา) หากต้องการเรียนรู้เพิ่มเติม โปรดไปที่เอกสารประกอบ Amazon SageMaker AI