การกำกับดูแล ML ด้วย Amazon SageMaker
ลดความซับซ้อนของการควบคุมการเข้าถึงและเพิ่มความโปร่งใส
สร้างบทบาทที่กำหนดเองซึ่งช่วยให้ผู้ปฏิบัติงานแมชชีนเลิร์นนิง (ML) เริ่มทำงานกับ SageMaker ได้เร็วขึ้น
ปรับปรุงเอกสารโมเดลและมอบการมองเห็นในด้านของสมมติฐาน คุณลักษณะ และอาร์ทิแฟกต์ที่สำคัญตั้งแต่แนวคิดไปจนถึงการนำไปใช้จริง
ตรวจสอบและแก้ไขปัญหาประสิทธิภาพอย่างรวดเร็วสำหรับโมเดล ตำแหน่งข้อมูล และงานเฝ้าสังเกตโมเดลทั้งหมดผ่านมุมมองแบบรวม
ติดตามการเบี่ยงเบนจากพฤติกรรมของโมเดลที่คาดไว้ รวมถึงงานการเฝ้าสังเกตที่ขาดหายไปหรือไม่ได้ใช้งานด้วยการแจ้งเตือนอัตโนมัติ
Amazon SageMaker ได้มอบเครื่องมือการกำกับดูแลที่สร้างขึ้นตามวัตถุประสงค์เพื่อช่วยให้คุณใช้งาน ML อย่างมีความรับผิดชอบ ด้วย Amazon SageMaker Role Manager ผู้ดูแลระบบสามารถกำหนดสิทธิ์ขั้นต่ำได้ในไม่กี่นาที Amazon SageMaker Model Card ช่วยให้จับภาพ ดึงข้อมูล และแชร์ข้อมูลโมเดลที่จำเป็นได้ง่ายขึ้น เช่น การใช้งานตามวัตถุประสงค์ การจัดอันดับความเสี่ยง และรายละเอียดการฝึกฝน ตั้งแต่แนวคิดไปจนถึงการนำไปใช้จริง Amazon SageMaker Model Dashboard จะแจ้งให้คุณทราบเกี่ยวกับพฤติกรรมของแบบจำลองในการผลิต ทั้งหมดในที่เดียว
รับชมวิดีโอนี้เพื่อเรียนรู้วิธีในการปรับปรุงการมองเห็นให้กับโมเดล ML ของคุณด้วย SageMaker
วิธีการทำงานของมัน
การกำกับดูแล ML ด้วย Amazon SageMaker ใช้ SageMaker Role Manager, SageMaker Model Cards และ SageMaker Model Dashboard เพื่อช่วยให้คุณลดความซับซ้อนของการควบคุมการเข้าถึงและเพิ่มความโปร่งใสให้กับโครงการ ML ของคุณ
Amazon SageMaker มีคุณสมบัติการกำกับดูแล ML หลักสามประการ ได้แก่ Amazon SageMaker Role Manager, Amazon SageMaker Model Cards และ Amazon SageMaker Model Dashboard ส่วนแรกของแผนภาพมีชื่อว่า “การกำกับดูแล ML ด้วย Amazon SageMaker” คำอธิบายระบุว่า “ทำให้การควบคุมการเข้าถึงง่ายขึ้นและเพิ่มความโปร่งใสให้กับโครงการ ML ของคุณ”
ส่วนที่สองแสดงขั้นตอนการเริ่มต้นใช้งาน ซึ่งเกี่ยวข้องกับ SageMaker Role Manager SageMaker Role Manager กำหนดสิทธิ์ขั้นต่ำในไม่กี่นาทีโดยลดความซับซ้อนของการตั้งค่าสิทธิ์สำหรับงาน ML และสร้างนโยบาย IAM แบบกำหนดเองโดยอัตโนมัติ
ส่วนที่สามคือช่วงของวงจรชีวิตของโมเดล ซึ่งครอบคลุมการเตรียมการ การสร้าง การฝึกฝน การนำไปใช้จริง และการเฝ้าสังเกตโมเดล ด้วย SageMaker Model Card คุณสามารถรวมศูนย์และสร้างมาตรฐานเอกสารโมเดล เติมข้อมูลโมเดลโดยอัตโนมัติ และส่งออกเป็น PDF ได้ ด้วย SageMaker Model Dashboard คุณสามารถตรวจสอบประสิทธิภาพของโมเดลผ่านมุมมองแบบรวม เข้าถึงข้อมูลเชิงลึกของโมเดลได้จากที่เดียว และรับการแจ้งเตือนในตัว
SageMaker Model Card และ SageMaker Model Dashboard ได้ผสานรวมเข้ากับ Amazon SageMaker Model Monitor ซึ่งคุณสามารถใช้เพื่อเฝ้าสังเกตโมเดลสำหรับการเลื่อน และ Amazon SageMaker Clarify ซึ่งช่วยให้คุณตรวจจับความเอนเอียงและอธิบายพฤติกรรมของโมเดลได้
คุณสมบัติหลัก
กำหนดสิทธิ์ขั้นต่ำในไม่กี่นาทีด้วย SageMaker Role Manager
ลดความซับซ้อนของสิทธิ์สำหรับกิจกรรม ML
SageMaker Role Manager มอบสิทธิ์พื้นฐานสำหรับกิจกรรม ML และบุคคลภาพผ่านแคตตาล็อกนโยบาย AWS Identity and Access Management (IAM) ที่สร้างไว้ล่วงหน้า กิจกรรม ML อาจรวมถึงการเตรียมข้อมูลและการฝึกฝน และบุคคลอาจรวมถึงวิศวกร ML และนักวิทยาศาสตร์ข้อมูล คุณสามารถคงสิทธิ์พื้นฐานเอาไว้หรือปรับแต่งเพิ่มเติมตามความต้องการเฉพาะของคุณ
สร้างนโยบาย IAM โดยอัตโนมัติ
จากการใช้คำสั่งแนะนำด้วยตนเองเพียงไม่กี่คำสั่ง คุณสามารถป้อนโครงสร้างการกำกับดูแลทั่วไปได้อย่างรวดเร็ว เช่น ขอบเขตการเข้าถึงเครือข่ายและคีย์เข้ารหัส จากนั้น SageMaker Role Manager จะสร้างนโยบาย IAM โดยอัตโนมัติ คุณสามารถค้นหาบทบาทที่สร้างขึ้นและนโยบายที่เกี่ยวข้องผ่าน AWS IAM Console
แนบนโยบายที่มีการจัดการของคุณ
หากต้องการปรับแต่งสิทธิ์ให้เหมาะกับกรณีการใช้งานของคุณเพิ่มเติม ให้แนบนโยบาย IAM ที่มีการจัดการของคุณกับบทบาทใน IAM ที่คุณสร้างด้วย SageMaker Role Manager คุณยังสามารถเพิ่มแท็กเพื่อช่วยระบุและจัดระเบียบบทบาทในบริการต่างๆ ของ AWS ได้อีกด้วย
ปรับปรุงเอกสารโมเดลด้วย SageMaker Model Cards
จัดเก็บข้อมูลโมเดล
SageMaker Model Card เป็นที่เก็บสำหรับข้อมูลโมเดลใน Amazon SageMaker Console และช่วยคุณรวมศูนย์และกำหนดมาตรฐานเอกสารโมเดล เพื่อให้คุณปรับใช้ ML ได้อย่างมีความรับผิดชอบ คุณสามารถเติมรายละเอียดการฝึกอบรมโดยอัตโนมัติ เช่น ชุดข้อมูลอินพุต สภาพแวดล้อมการฝึกฝน และผลการฝึกฝน เพื่อเร่งกระบวนการจัดทำเอกสาร คุณยังสามารถเพิ่มรายละเอียดต่างๆ เช่น วัตถุประสงค์ของแบบจำลองและเป้าหมายด้านประสิทธิภาพ
แสดงภาพผลการประเมิน
คุณสามารถแนบผลการประเมินโมเดล เช่น ความเอนเอียงและตัววัดคุณภาพลงในการ์ดโมเดลของคุณ และเพิ่มการแสดงภาพ เช่น แผนภูมิ เพื่อรับข้อมูลเชิงลึกที่สำคัญเกี่ยวกับประสิทธิภาพของโมเดล
แบ่งปันโมเดลการ์ด
คุณสามารถส่งออกการ์ดโมเดลของคุณเป็นรูปแบบ PDF เพื่อแแบ่งปันกับผู้ถือผลประโยชน์ทางธุรกิจ ทีมภายใน หรือลูกค้าของคุณได้ง่ายขึ้น
รับการเฝ้าสังเกตโมเดลแบบครบวงจรด้วย SageMaker Model Dashboard
ติดตามพฤติกรรมของโมเดล
SageMaker Model Dashboard ให้ภาพรวมที่ครอบคลุมของโมเดลที่นำไปใช้จริงและตำแหน่งข้อมูล เพื่อให้คุณสามารถติดตามทรัพยากรและการละเมิดพฤติกรรมของโมเดลได้ในที่เดียว คุณสามารถตรวจสอบพฤติกรรมของโมเดลในสี่มิติ ได้แก่ คุณภาพข้อมูล คุณภาพของโมเดล การเลื่อนความเอนเอียง และการเลื่อนการระบุแหล่งที่มาของคุณลักษณะ SageMaker Model Dashboard ตรวจสอบพฤติกรรมผ่านการผสานรวมกับ Amazon SageMaker Model Monitor และ Amazon SageMaker Clarify
การจัดอันดับความเสี่ยงที่แสดงอยู่ด้านบนมีไว้เพื่อจุดประสงค์ในการอธิบายเท่านั้น และอาจมีความแตกต่างกันออกไปตามข้อมูลที่คุณให้ไว้
การแจ้งเตือนอัตโนมัติ
SageMaker Model Dashboard มอบประสบการณ์แบบบูรณาการในการตั้งค่าและรับการแจ้งเตือนสำหรับงานตรวจสอบโมเดลที่ขาดหายไปและไม่ได้ใช้งาน และความเบี่ยงเบนในพฤติกรรมของโมเดล
การจัดอันดับความเสี่ยงที่แสดงอยู่ด้านบนมีไว้เพื่อจุดประสงค์ในการอธิบายเท่านั้น และอาจมีความแตกต่างกันออกไปตามข้อมูลที่คุณให้ไว้
แก้ไขปัญหาการเบี่ยงเบนของโมเดล
คุณสามารถตรวจสอบแต่ละโมเดลเพิ่มเติมและวิเคราะห์ปัจจัยที่ส่งผลต่อประสิทธิภาพของโมเดลเมื่อเวลาผ่านไป จากนั้นคุณสามารถติดตามผลกับผู้ปฏิบัติงาน ML เพื่อใช้มาตรการแก้ไขได้
ลูกค้า
“ที่ United Airlines เราใช้แมชชีนเลิร์นนิง (ML) เพื่อปรับปรุงประสบการณ์ของลูกค้าด้วยการมอบข้อเสนอเฉพาะบุคคล ให้ลูกค้าเตรียมพร้อมโดยใช้ Travel Readiness Center การใช้ ML ของเรายังขยายไปถึงการดำเนินงานของสนามบิน การวางแผนเครือข่าย การจัดตารางเวลาการบิน ในขณะที่เรากำลังเผชิญกับการแพร่ระบาดของโรค Amazon SageMaker มีบทบาทสำคัญใน Travel Readiness Center ซึ่งช่วยให้เราสามารถจัดการกับใบรับรองการทดสอบ COVID บัตรวัคซีนจำนวนมากโดยใช้โมเดลอัตโนมัติอิงตามเอกสาร ด้วยความสามารถในการกำกับดูแลแบบใหม่ของ Amazon SageMaker เราได้เพิ่มการควบคุมและการมองเห็นบนโมเดลแมชชีนเลิร์นนิงของเรา SageMaker Role Manager ทำให้ขั้นตอนการตั้งค่าผู้ใช้ง่ายขึ้นอย่างมากโดยการอนุญาตพื้นฐานและกิจกรรม ML สำหรับแต่ละบุคคลที่เชื่อมโยงกับบทบาทใน IAM ด้วย SageMaker Model Cards ทีมของเราสามารถบันทึกและแบ่งปันข้อมูลแบบจำลองในเชิงรุกเพื่อตรวจสอบได้ และด้วยการใช้ SageMaker Model Dashboard เราสามารถค้นหาและดูแบบจำลองที่นำไปใช้จริงบน MARS ซึ่งเป็นแพลตฟอร์ม ML ภายในของเรา ด้วยความสามารถในการกำกับดูแลใหม่ทั้งหมดนี้ เราจึงประหยัดเวลาได้มากและสามารถเพิ่มทรัพยากรได้”
Ashok Srinivas, ผู้อำนวยการวิศวกรรม ML และ Ops, United Airlines
“ที่ Capitec เรามีนักวิทยาศาสตร์ด้านข้อมูลที่หลากหลายในสายผลิตภัณฑ์ของเรา ซึ่งสร้างโซลูชัน ML ที่แตกต่างกัน วิศวกร ML ของเราจัดการแพลตฟอร์มการสร้างโมเดลแบบรวมศูนย์ที่สร้างขึ้นบน Amazon SageMaker เพื่อช่วยให้การพัฒนาและการนำโซลูชัน ML เหล่านี้ทั้งหมดไปใช้จริง หากไม่มีเครื่องมือในตัว ความพยายามในการสร้างโมเดลการติดตามมีแนวโน้มที่จะทำให้เอกสารไม่ปะติดปะต่อและขาดการมองเห็นโมเดล ด้วยการ์ดโมเดลของ SageMaker เราสามารถติดตามข้อมูลเมตาของโมเดลจำนวนมากในสภาพแวดล้อมที่เป็นหนึ่งเดียว และ SageMaker Model Dashboard ทำให้เราสามารถมองเห็นประสิทธิภาพการทำงานของแต่ละโมเดลได้ นอกจากนี้ SageMaker Role Manager ยังลดความซับซ้อนของกระบวนการจัดการการเข้าถึงสำหรับนักวิทยาศาสตร์ข้อมูลในสายผลิตภัณฑ์ต่างๆ ของเราได้อีกด้วย แต่ละคุณสมบัติเหล่านี้มีส่วนช่วยให้การกำกับดูแลแบบจำลองของเราเพียงพอที่จะรับประกันความไว้วางใจที่ลูกค้าของเรามีต่อเราในฐานะผู้ให้บริการทางการเงินได้”
Dean Matter, วิศวกร ML, Capitec Bank
ทรัพยากร
เซสชัน "ปรับปรุงการกำกับดูแล ML ด้วยการควบคุมเชิงลึกและความโปร่งใสใน SageMaker" จาก AWS re:Invent 2022