ประกาศการกำหนดเส้นทาง Sticky Session สำหรับ Amazon SageMaker Inference
วันนี้ เราขอประกาศความพร้อมใช้งานของการกำหนดเส้นทาง Sticky Session บน Amazon SageMaker Inference ซึ่งช่วยลูกค้าปรับปรุงประสบการณ์ของผู้ใช้และประสิทธิภาพของแอปพลิเคชัน AI ช่วยสร้าง โดยการใช้ประโยชน์จากข้อมูลที่ประมวลผลไปก่อนหน้า Amazon SageMaker ช่วยให้ปรับใช้โมเดล ML รวมถึงโมเดลพื้นฐาน (FM) ได้ง่ายขึ้น เพื่อส่งคำขอการอนุมานด้วยอัตราส่วนราคาต่อประสิทธิภาพที่คุ้มค่าที่สุดสำหรับทุกกรณีการใช้งาน
เมื่อเปิดใช้งาน Sticky Session คำขอทั้งหมดสำหรับเซสชันเดียวกันจะมีเส้นทางไปยังอินสแตนซ์เดียวกัน ทำให้แอปพลิเคชัน ML ของคุณสามารถนำข้อมูลที่ประมวลผลไปก่อนหน้ากลับมาใช้ใหม่ได้ เพื่อลดเวลาแฝงและปรับปรุงประสบการณ์ของผู้ใช้ ฟีเจอร์นี้มีคุณค่าโดยเฉพาะอย่างยิ่งเมื่อลูกค้าต้องการใช้เพย์โหลดข้อมูลขนาดใหญ่หรือต้องการประสบการณ์เชิงโต้ตอบที่ราบรื่น เมื่อใช้ประโยชน์จากคำขอการอนุมานก่อนหน้า ตอนนี้ลูกค้าจะสามารถใช้ประโยชน์จากฟีเจอร์นี้เพื่อสร้างนวัตกรรมแอปพลิเคชัน AI ที่รับรู้สถานะบน SageMaker ได้แล้ว หากต้องการทำเช่นนี้ ลูกค้าจะต้องสร้าง ID เซสชันพร้อมคำขอแรก จากนั้นใช้ ID เซสชันนั้นเพื่อระบุว่า SageMaker ควรกำหนดเส้นทางคำขอที่ตามมาทั้งหมดไปยังอินสแตนซ์เดียวกัน นอกจากนี้ยังสามารถลบเซสชันได้เมื่อเสร็จสิ้น เพื่อเตรียมทรัพยากรให้พร้อมสำหรับเซสชันใหม่
ฟีเจอร์นี้พร้อมใช้งานในทุกรีเจี้ยนที่มี SageMaker ให้บริการ คุณสามารถเรียนรู้เพิ่มเติมเกี่ยวกับการติดตั้งใช้งานโมเดลบน SageMaker ได้ที่นี่ และเรียนรู้เพิ่มเติมเกี่ยวกับฟีเจอร์นี้ได้ในเอกสารประกอบของเรา