SageMaker JumpStart นำเสนอการนำไปใช้จริงที่ได้รับการเพิ่มประสิทธิภาพสำหรับโมเดลพื้นฐานแล้ว
SageMaker JumpStart รองรับการนำไปใช้จริงแบบเพิ่มประสิทธิภาพ ซึ่งช่วยให้ลูกค้าสามารถติดตั้งใช้งานโมเดลพื้นฐานด้วยการตั้งค่าที่กำหนดไว้ล่วงหน้าให้เหมาะกับกรณีการใช้งานและข้อจำกัดด้านประสิทธิภาพเฉพาะ การนำไปใช้จริงที่ได้รับการเพิ่มประสิทธิภาพของ SageMaker JumpStart ช่วยทำให้การติดตั้งโมเดลง่ายขึ้น โดยมีการกำหนดค่าที่คำนึงถึงงานที่ช่วยปรับค่าใช้จ่ายให้เหมาะสม เพิ่มประสิทธิภาพอัตราการโอนถ่ายข้อมูล หรือเวลาแฝงตามความต้องการของเวิร์กโหลดของคุณ โดยไม่ว่าจะเป็นการสร้างเนื้อหา การสรุปเนื้อหา หรือการถาม-ตอบ การเปิดตัวครั้งนี้รองรับโมเดลยอดนิยมมากกว่า 30 รายการจาก Meta, Microsoft, Mistral AI, Qwen, Google และ TII พร้อมทั้งให้การมองเห็นเมตริกประสิทธิภาพสำคัญ เช่น ค่าเวลาแฝง P50, เวลาในการได้โทเค็นแรก (TTFT) และอัตราการโอนถ่ายข้อมูลก่อนการนำไปใช้จริง
ด้วยการนำไปใช้จริงที่ได้รับการเพิ่มประสิทธิภาพของ SageMaker JumpStart จะช่วยทำลูกค้าสามารถเลือกการกำหนดค่าที่เหมาะกับกรณีการใช้งานเฉพาะ (เช่น การเขียนเชิงสร้างสรรค์หรือการโต้ตอบแบบแชท) และเลือกเป้าหมายการเพิ่มประสิทธิภาพ เช่น แบบเน้นค่าใช้จ่าย แบบเน้นอัตราการโอนถ่ายข้อมูล แบบเน้นเวลาแฝง หรือแบบสมดุล โมเดลจะติดตั้งใช้งานไปยังตำแหน่งข้อมูล SageMaker AI Managed Inference หรือคลัสเตอร์ SageMaker HyperPod ด้วยการกำหนดค่าที่ตั้งไว้ล่วงหน้า ซึ่งช่วยลดการคาดเดา ขณะเดียวกันยังคงให้การมองเห็นรายละเอียดการนำไปใช้จริงทั้งหมด โมเดลที่รองรับ ได้แก่ Meta Llama รุ่น 3.1 และ 3.2, Microsoft Phi-3, โมเดลจาก Mistral AI รวมถึง Mistral-Small-24B-Instruct-2501 รุ่นใหม่, Qwen ซีรีส์ 2 และ 3 รวมถึง Qwen2-VL แบบหลายรูปแบบ, Google Gemma และ TII Falcon3 การนำไปใช้จริงทั้งหมดใช้ความสามารถในการนำ VPC ไปใช้จริงของ SageMaker ซึ่งช่วยให้มั่นใจในการควบคุมข้อมูลและโครงสร้างพื้นฐานที่พร้อมใช้งานจริง พร้อมความปลอดภัยระดับองค์กร ฟีเจอร์นี้พร้อมใช้งานใน AWS Region ทุกแห่งที่ SageMaker JumpStart รองรับในปัจจุบัน
ในการเริ่มต้นใช้งานการนำไปใช้จริงที่ได้รับการเพิ่มประสิทธิภาพ ให้ไปที่ Models (โมเดล) ใน SageMaker Studio เลือกโมเดลพื้นฐานที่ต้องการในแท็บ JumpStart Models จากนั้นเลือก "Deploy" (ติดตั้งใช้งาน) และเลือกกรณีการใช้งานรวมถึงเป้าหมายการเพิ่มประสิทธิภาพของคุณ สำหรับรายละเอียด โปรดไปที่เอกสารประกอบ SageMaker JumpStart AWS กำลังขยายการรองรับเพื่อรวมโมเดลเพิ่มเติมอย่างต่อเนื่อง