Amazon SageMaker AI ช่วยลดเวลาในการเพิ่มจำนวนอินสแตนซ์การอนุมาน AI ช่วยสร้างได้สูงสุดถึงครึ่งหนึ่ง ด้วยการแคชอิมเมจคอนเทนเนอร์อัตโนมัติ
Amazon SageMaker Inference รองรับการแคชอิมเมจคอนเทนเนอร์แล้ว ทำให้การขยายขนาดแบบครบวงจรสำหรับโมเดล AI ช่วยสร้างเร็วขึ้นสูงสุดถึง 2 เท่า ในระหว่างการเพิ่มจำนวนอินสแตนซ์ เมื่อเพิ่มจำนวนอินสแตนซ์ของตำแหน่งข้อมูลของคุณ ระบบจะแคชอิมเมจคอนเทนเนอร์ไว้ล่วงหน้า เพื่อให้อินสแตนซ์ใหม่สามารถเริ่มให้บริการรับส่งข้อมูลได้เร็วขึ้น โดยไม่ต้องรอให้ดึงอิมเมจคอนเทนเนอร์ขนาดใหญ่จาก Amazon ECR
โดยทั่วไป เวิร์กโหลด AI ช่วยสร้างจะใช้อิมเมจคอนเทนเนอร์ขนาดใหญ่ (10 GB ขึ้นไป) สำหรับเฟรมเวิร์กดีปเลิร์นนิงและการให้บริการโมเดล ก่อนหน้านี้ ทุกครั้งที่มีการเปิดใช้งานอินสแตนซ์ใหม่ระหว่างการขยายระบบ จะต้องดึงอิมเมจทั้งหมดจาก ECR ซึ่งทำให้เกิดความล่าช้าในการเริ่มต้นระบบหลายนาที การแคชอิมเมจคอนเทนเนอร์ช่วยขจัดปัญหาคอขวดนี้ได้โดยการดึงอิมเมจล่วงหน้า ทำให้เมื่อสร้างอินสแตนซ์ใหม่ คอนเทนเนอร์จะพร้อมใช้งานในเครื่องอยู่แล้ว ลูกค้าไม่จำเป็นต้องทำการเปลี่ยนแปลงใด ๆ บริการนี้จะแคช URI ของอิมเมจใด ๆ ก็ตามที่ระบุไว้ในการกำหนดค่าตำแหน่งข้อมูลหรือส่วนประกอบการอนุมานของคุณโดยอัตโนมัติ ความสามารถนี้รองรับประเภทอินสแตนซ์ของตัวเร่งความเร็ว ตำแหน่งข้อมูลแบบโมเดลเดียว และตำแหน่งข้อมูลแบบอิงตามส่วนประกอบการอนุมาน
ด้วยการเปิดตัวครั้งนี้ SageMaker Inference จึงนำเสนอชุดเครื่องมือเพิ่มประสิทธิภาพการปรับขนาดที่ครอบคลุมสำหรับ AI ช่วยสร้าง: เมตริกการทำงานพร้อมกันในระดับต่ำกว่านาทีเพื่อการตรวจจับโหลดที่เร็วขึ้นถึง 6 เท่า การแคชคอนเทนเนอร์ที่จัดเก็บอินสแตนซ์เพื่อการปรับขนาดที่เร็วขึ้นบนอินสแตนซ์ที่มีอยู่ และการแคชอิมเมจคอนเทนเนอร์เพื่อการปรับขนาดที่เร็วขึ้นถึง 2 เท่าบนอินสแตนซ์ใหม่
การแคชอิมเมจคอนเทนเนอร์มีให้บริการในรีเจี้ยนเชิงพาณิชย์ของ AWS ทุกแห่งที่รองรับ SageMaker Inference หากต้องการดูข้อมูลเพิ่มเติม โปรดไปที่บล็อกการเปิดตัว