Amazon SageMaker เปิดตัวขีดความสามารถในการเพิ่มประสิทธิภาพการอนุมานของ AI ช่วยสร้างโฉมใหม่
วันนี้ Amazon SageMaker ได้ประกาศความพร้อมใช้งานทั่วไปของขีดความสามารถในการอนุมานใหม่ที่ให้อัตราการโอนถ่ายข้อมูลสูงขึ้นถึง 2 เท่าโดยประมาณ ขณะเดียวกันก็ช่วยลดต้นทุนได้ถึง 50% โดยประมาณสำหรับโมเดล AI ช่วยสร้าง เช่น โมเดล Llama 3, Mistral และ Mixtral ตัวอย่างเช่น ด้วยรุ่น Llama 3-70B คุณสามารถบรรลุได้ถึงประมาณ 2400 โทเคน/วินาทีในอินสแตนซ์ ml.p5.48xlarge v/s ประมาณ 1200 โทเคน/วินาทีก่อนหน้านี้โดยไม่ต้องเพิ่มประสิทธิภาพใด ๆ
ขีดความสามารถใหม่นี้จะช่วยให้ลูกค้าเลือกใช้งานเทคนิคการเพิ่มประสิทธิภาพโมเดลล่าสุดได้จากเมนู ยกตัวอย่างเทคนิคต่าง ๆ เช่น การถอดรหัสแบบคาดเดา การแบ่งนับ และการรวบรวม แล้วนำไปใช้กับโมเดล AI ช่วยสร้าง โดย SageMaker จะจัดการงานหนักในการจัดเตรียมฮาร์ดแวร์ที่จำเป็นเพื่อเรียกใช้ Recipe การเพิ่มประสิทธิภาพ ควบคู่ไปกับเฟรมเวิร์กและไลบรารีของดีปเลิร์นนิง ลูกค้าจะได้รับการสนับสนุนที่พร้อมใช้งานทันทีสำหรับโซลูชันการถอดรหัสแบบคาดเดาจาก SageMaker ซึ่งผ่านการทดสอบประสิทธิภาพในทุกขนาดสำหรับโมเดลโอเพนซอร์สยอดนิยมต่าง ๆ หรือลูกค้าจะนำโซลูชันการถอดรหัสแบบคาดเดาของตัวเองมาใช้ก็ได้ สำหรับการแบ่งนับ SageMaker รับประกันถึงความเข้ากันได้และการรองรับประเภทของการแบ่งนับที่มีความแม่นยำบนสถาปัตยกรรมโมเดลต่าง ๆ สำหรับการรวบรวม โครงสร้างพื้นฐานรันไทม์ของ SageMaker รับประกันถึงการโหลดและการแคชอย่างมีประสิทธิภาพของโมเดลที่ได้รับการปรับให้เหมาะสม เพื่อลดเวลาการปรับขนาดอัตโนมัติ
ลูกค้าสามารถใช้ประโยชน์จากขีดความสามารถใหม่นี้ได้จาก AWS SDK สำหรับ Python (Boto3), SageMaker Python SDK หรือ AWS Command Line Interface (AWS CLI) ขีดความสามารถดังกล่าวพร้อมใช้งานทั่วไปแล้วในรีเจี้ยนสหรัฐอเมริกาฝั่งตะวันออก (เวอร์จิเนียฝั่งเหนือ), สหรัฐอเมริกาฝั่งตะวันออก (โอไฮโอ), สหรัฐอเมริกาฝั่งตะวันตก (ออริกอน), เอเชียแปซิฟิก (มุมไบ), เอเชียแปซิฟิก (สิงคโปร์), เอเชียแปซิฟิก (ซิดนีย์), เอเชียแปซิฟิก (โตเกียว), แคนาดา (ภาคกลาง), ยุโรป (แฟรงก์เฟิร์ต), ยุโรป (ไอร์แลนด์), ยุโรป (ลอนดอน), ยุโรป (ปารีส), ยุโรป (สตอกโฮล์ม) และอเมริกาใต้ (เซาเปาลู)
ดูเพิ่มเติมโดยไปที่หน้าเอกสารประกอบและบล็อก AWS ML ของเรา