เร่งการพัฒนา AI ช่วยสร้างด้วย Amazon SageMaker AI และ MLflow

จัดการรอบการทำงานของแมชชีนเลิร์นนิงและ AI ช่วยสร้างที่สามารถปรับขนาดได้อย่างมีประสิทธิภาพโดยใช้ MLflow 3.0

ทำไมต้องใช้ Amazon SageMaker กับ MLflow

Amazon SageMaker มอบความสามารถ MLflow ที่มีการจัดการสำหรับแมชชีนเลิร์นนิง (ML) และการทดลอง AI ช่วยสร้าง ความสามารถนี้ทำให้นักวิทยาศาสตร์ข้อมูลสามารถใช้ MLflow บน SageMaker สำหรับการฝึกโมเดล การลงทะเบียน และการนำไปใช้จริงได้ง่ายขึ้น ผู้ดูแลระบบสามารถตั้งค่าสภาพแวดล้อม MLflow ที่ปลอดภัยและปรับขนาดได้บน AWS ได้อย่างรวดเร็ว นักวิทยาศาสตร์ข้อมูลและผู้พัฒนา ML สามารถติดตามการทดลอง ML ได้อย่างมีประสิทธิภาพและค้นหาโมเดลที่ตอบโจทย์ปัญหาทางธุรกิจ

ประโยชน์ของ Amazon SageMaker AI กับ MLflow 3.0

นักวิทยาศาสตร์ข้อมูลสามารถใช้ MLflow เพื่อติดตามเมตริกทั้งหมดที่สร้างขึ้นระหว่างการปรับแต่งโมเดลพื้นฐาน ประเมินโมเดล ทดสอบโมเดลด้วยข้อมูลตัวอย่าง เปรียบเทียบเอาต์พุตของแต่ละโมเดลเทียบกันบน UI ของ MLflow และลงทะเบียนโมเดลที่เหมาะสมสำหรับกรณีการใช้งานของตน เมื่อลงทะเบียนโมเดลแล้ว วิศวกร ML จะสามารถนำโมเดลไปใช้จริงกับการอนุมานของ SageMaker ได้
คุณไม่จำเป็นต้องจัดการโครงสร้างพื้นฐานใด ๆ ที่จำเป็นต่อการโฮสต์ MLflow นักวิทยาศาสตร์ข้อมูลสามารถใช้ความสามารถโอเพนซอร์ส MLflow ทั้งหมดได้โดยที่ผู้ดูแลระบบไม่ต้องกังวลเกี่ยวกับค่าโสหุ้ยของโครงสร้างพื้นฐาน ซึ่งช่วยประหยัดเวลาและค่าใช้จ่ายเมื่อตั้งค่าสภาพแวดล้อมด้านวิทยาศาสตร์ข้อมูล MLflow ผสานการทำงานกับ Amazon Identity and Access Management (IAM) ช่วยให้คุณสามารถตั้งค่า Role Based Access Control (RBAC) สำหรับเซิร์ฟเวอร์ติดตาม MLflow ได้
โมเดลที่ลงทะเบียนใน MLflow จะได้รับการลงทะเบียนในระเบียนโมเดลของ Amazon SageMaker พร้อมการ์ดโมเดล Amazon SageMaker ที่เกี่ยวข้อง การดำเนินการนี้ช่วยให้นักวิทยาศาสตร์ข้อมูลสามารถส่งต่อโมเดลของตนไปให้วิศวกร ML เพื่อนำไปใช้จริงในการผลิตโดยไม่ต้องเปลี่ยนบริบท วิศวกร ML สามารถนำโมเดลจาก MLflow ไปใช้จริงในตำแหน่งข้อมูล SageMaker ได้โดยไม่ต้องสร้างคอนเทนเนอร์แบบกำหนดเองหรือบรรจุอาร์ทิแฟกต์โมเดล MLflow ใหม่
ในขณะที่โปรเจกต์ MLflow เปลี่ยนแปลงไปเรื่อย ๆ ลูกค้า SageMaker AI จะได้ประโยชน์จากนวัตกรรมโอเพนซอร์สจากชุมชน MLflow พร้อมทั้งสะดวกสบายไปกับการจัดการโครงสร้างพื้นฐานที่ AWS มอบให้
ความสามารถในการติดตามของ MLflow 3.0 ที่มีการจัดการอย่างเต็มรูปแบบทำให้ลูกค้าสามารถบันทึกข้อมูลนำเข้า ผลลัพธ์ และข้อมูลเมตาทั้งหมดในทุกขั้นตอนของการพัฒนา AI ช่วยสร้างได้ เพื่อช่วยให้ทีมระบุแหล่งที่มาของข้อบกพร่องหรือพฤติกรรมที่ไม่คาดคิดได้อย่างรวดเร็ว ด้วยการรักษาบันทึกของแต่ละเวอร์ชันของโมเดลและแอปพลิเคชัน MLflow 3.0 ที่มีการจัดการอย่างเต็มรูปแบบจึงนำเสนอการตรวจสอบย้อนกลับเพื่อเชื่อมต่อการตอบสนองของ AI กับองค์ประกอบต้นทาง ทำให้นักพัฒนาสามารถติดตามปัญหาไปยังรหัส ข้อมูล หรือพารามิเตอร์ที่สร้างขึ้นโดยตรงได้

ติดตามการทดลองจากทุกที่

การทดลอง ML มีการดำเนินการในสภาพแวดล้อมที่หลากหลาย รวมถึงโน้ตบุ๊กภายในองค์กร, IDE, โค้ดการฝึกบนระบบคลาวด์ หรือ IDE ที่มีการจัดการใน Amazon SageMaker Studio เมื่อใช้ SageMaker AI และ MLflow คุณสามารถใช้สภาพแวดล้อมที่คุณต้องการเพื่อฝึกโมเดล ติดตามการทดลองของคุณใน MLflow และเปิดใช้งาน UI ของ MLflow โดยตรงหรือผ่าน SageMaker Studio เพื่อการวิเคราะห์ได้

บันทึกการทดลอง

เร่งการพัฒนา AI ช่วยสร้างด้วย MLflow 3.0

การสร้างโมเดลพื้นฐานเป็นกระบวนการที่ต้องทำซ้ำหลายรอบ ซึ่งเกี่ยวข้องกับรอบการวนซ้ำในการฝึกหลายร้อยครั้งเพื่อค้นหาอัลกอริทึม สถาปัตยกรรม และพารามิเตอร์ที่ดีที่สุดเพื่อให้โมเดลมีความถูกต้องแม่นยำในระดับสูงสุด MLflow 3.0 ที่มีการจัดการอย่างสมบูรณ์ช่วยให้คุณสามารถติดตามการทดลองด้าน AI ช่วยสร้าง, ประเมินผลการดำเนินงานของโมเดล และรับข้อมูลเชิงลึกเกี่ยวกับพฤติกรรมของโมเดลและแอปพลิเคชัน AI ได้มากขึ้น ตั้งแต่การทดลองไปจนถึงการนำไปใช้งานจริง คุณสามารถแสดงดูความคืบหน้าของงานการฝึกโมเดล การทำงานร่วมกับเพื่อนร่วมงานในระหว่างการทดลอง และควบคุมเวอร์ชันของแต่ละโมเดลและแอปพลิเคชันได้ด้วยอินเทอร์เฟซเดียว MLflow 3.0 ยังนำเสนอความสามารถในการติดตามขั้นสูงที่บันทึกข้อมูลนำเข้า ผลลัพธ์ และข้อมูลเมตาทั้งหมดในทุกขั้นตอนของการพัฒนา AI ช่วยสร้างได้ ซึ่งช่วยให้คุณระบุแหล่งที่มาของข้อบกพร่องหรือพฤติกรรมที่ไม่คาดคิดได้อย่างรวดเร็ว

เร่งการพัฒนา AI ช่วยสร้างด้วย MLflow

จัดการข้อมูลเมตาการทดลอง ML จากส่วนกลาง

ประเมินการทดลอง

การระบุโมเดลที่ดีที่สุดจากการทำซ้ำหลายครั้งต้องมีการวิเคราะห์และเปรียบเทียบประสิทธิภาพของโมเดล MLflow มีการแสดงภาพ เช่น แผนภูมิกระจาย แผนภูมิแท่ง และฮิสโตแกรมเพื่อเปรียบเทียบการทำซ้ำการฝึกอบรม นอกจากนี้ MLflow ยังช่วยให้สามารถประเมินโมเดลในด้านอคติและความเป็นธรรมได้อีกด้วย

ประเมินการทดลอง ML ของคุณ

จัดการโมเดล MLflow จากส่วนกลาง

หลายทีมมักใช้ MLflow เพื่อจัดการการทดลอง โดยมีโมเดลไม่กี่รายการเท่านั้นที่จะได้รับเลือก องค์กรต้องการวิธีง่าย ๆ ในการติดตามโมเดลที่เป็นตัวเลือกทั้งหมดเพื่อตัดสินใจโดยมีข้อมูลประกอบเกี่ยวกับโมเดลที่จะดำเนินการผลิต MLflow ผสานการทำงานกับระเบียนโมเดล SageMaker ได้อย่างราบรื่น ทำให้องค์กรเห็นโมเดลที่ลงทะเบียนใน MLflow ปรากฏขึ้นโดยอัตโนมัติในระเบียนโมเดล SageMaker พร้อมกับการ์ดโมเดล SageMaker สำหรับการกำกับดูแล การผสานการทำงานนี้ช่วยให้นักวิทยาศาสตร์ข้อมูลและวิศวกร ML สามารถใช้เครื่องมือที่แตกต่างกันสำหรับงานที่เกี่ยวข้องได้ ซึ่งได้แก่ MLflow สำหรับการทดลอง และระเบียน SageMaker สำหรับการจัดการวงจรการผลิตด้วยเส้นทางขั้นตอนของโมเดลที่ครอบคลุม

แชร์การอัปเดตและผลลัพธ์

นำโมเดล MLflow ไปใช้จริงกับตำแหน่งข้อมูล SageMaker

การนำโมเดลจาก MLflow ไปใช้จริงกับตำแหน่งข้อมูล SageMaker นั้นเรียบง่าย โดยไม่จำเป็นต้องสร้างคอนเทนเนอร์แบบกำหนดเองสำหรับการจัดเก็บโมเดล การผสานการทำงานนี้ช่วยให้ลูกค้าสามารถใช้ประโยชน์จากคอนเทนเนอร์การอนุมานที่ได้รับการปรับให้เหมาะสมของ SageMaker ในขณะที่ยังคงรักษาประสบการณ์ที่ใช้งานง่ายของ MLflow สำหรับการบันทึกและลงทะเบียนโมเดล

ทำซ้ำและตรวจสอบการทดลอง ML