Amazon SageMaker HyperPod รองรับการบันทึกข้อมูลสำหรับเวิร์กโหลดการอนุมานแล้ว
ขณะนี้ Amazon SageMaker HyperPod รองรับการบันทึกข้อมูลสำหรับเวิร์กโหลดการอนุมาน ซึ่งเป็นความสามารถใหม่ที่บันทึกเพย์โหลดคำขอและการตอบกลับของการอนุมานจากตำแหน่งข้อมูลการใช้งานจริงไปยัง Amazon S3 ลูกค้าที่ติดตั้งใช้งานโมเดล AI ช่วยสร้าง บน HyperPod จำเป็นต้องมองเห็นอินพุตและเอาต์พุตของโมเดล เพื่อตรวจจับดริฟต์ แก้ไขปัญหาในการใช้งานจริง สร้างชุดข้อมูลสำหรับการประเมิน และปรับปรุงโมเดลที่ติดตั้งใช้งานอย่างต่อเนื่อง แต่ก่อนหน้านี้จำเป็นต้องสร้าง Pipeline การบันทึกแบบกำหนดเองนอกบริการเพื่อให้ได้การมองเห็นดังกล่าว
ด้วยการบันทึกข้อมูลจะทำให้ลูกค้าสามารถฝึกโมเดลร่างสำหรับการถอดรหัสเชิงคาดเดาจากการรับส่งข้อมูลการใช้งานจริงของตน เพื่อให้ได้ประสิทธิภาพที่ดีกว่าโมเดลร่างทั่วไป, สร้าง Pipeline การประเมินจากข้อมูลการใช้งานจริง, ป้อนข้อมูลจากโลกจริงเข้าสู่งานการปรับแต่งเพิ่มเติม และรักษาเส้นทางการตรวจสอบเพื่อการปฏิบัติตามข้อกำหนด ลูกค้าสามารถเลือกตำแหน่งที่จะบันทึกการรับส่งข้อมูลการอนุมานในแต่ละตำแหน่งข้อมูลได้ทั้งที่ตำแหน่งข้อมูล SageMaker, Load Balancer หรือพ็อดโมเดล ข้อมูลที่ถูกบันทึกจะถูกส่งไปยังบัคเก็ต Amazon S3 ของลูกค้าแบบอะซิงโครนัส โดยไม่ขัดขวางการอนุมาน และรองรับการสุ่มตัวอย่างแบบกำหนดค่าได้ รวมถึงการเข้ารหัส AWS KMS ที่ลูกค้าจัดการเอง คุณสามารถเปิดใช้งานการบันทึกข้อมูลได้เมื่อทำการติดตั้งใช้งานโมเดลผ่าน HyperPod Inference Operator และใช้ข้อมูลที่ถูกบันทึกร่วมกับ Amazon SageMaker Model Monitor และเวิร์กโฟลว์การประเมิน การปรับแต่งเพิ่มเติม และการฝึกโมเดลร่างที่มีอยู่ของคุณ
ฟีเจอร์นี้พร้อมใช้งานสำหรับคลัสเตอร์ SageMaker HyperPod ที่ใช้เครื่องมือควบคุมระบบ EKS ใน AWS Region ทุกแห่งที่รองรับ Amazon SageMaker HyperPod หากต้องการเรียนรู้เพิ่มเติม โปรดดูการบันทึกข้อมูลสำหรับการอนุมานบน HyperPod