Amazon SageMaker HyperPod تدعم الآن التقاط البيانات لأعباء عمل الاستدلال
تدعم ميزة Amazon SageMaker HyperPod الآن التقاط البيانات لأعباء عمل الاستدلال، وهي قدرة جديدة تقوم بتسجيل البيانات المنقولة لطلبات واستجابة الاستدلال من نقاط نهاية الإنتاج إلى Amazon S3. يحتاج العملاء الذين ينشرون نماذج الذكاء الاصطناعي المولّد على HyperPod إلى رؤية مدخلات ومخرجات النماذج لاكتشاف الانحراف واستكشاف مشكلات الإنتاج وإصلاحها وإنشاء مجموعات بيانات التقييم وتحسين نماذجهم المنشورة باستمرار، ولكن كان عليهم في السابق إنشاء مسارات تسجيل مخصصة خارج الخدمة للحصول على هذه الرؤية.
من خلال التقاط البيانات، يمكن للعملاء تدريب نماذج مسوّدة فك التشفير التخميني من حركة الإنتاج الحقيقية للحصول على أداء أفضل من نماذج المسودة العامة، وبناء مسارات التقييم من بيانات الإنتاج، وتغذية وظائف الضبط الدقيق بمدخلات العالم الحقيقي، والحفاظ على مسارات التدقيق للامتثال. يختار العملاء مكان التقاط حركة مرور الاستدلال في كل نقطة نهاية، عند نقطة نهاية SageMaker أو موازنة التحميل أو pod للنموذج. يتم تسليم البيانات الملتقطة بشكل غير متزامن إلى حاوية تخزين Amazon S3 الخاصة بهم دون حظر الاستدلال، وتدعم أخذ العينات القابلة للتكوين والتشفير المُدار بواسطة العميل عبر خدمة AWS KMS. يمكنك تمكين التقاط البيانات عند نشر النماذج من خلال HyperPod Inference Operator، واستخدام البيانات الملتقطة مع مُراقب نموذج Amazon SageMaker وسير العمل الحالي الخاص بالتقييم والضبط الدقيق وتدريب النماذج المسودة.
تتوفر هذه الميزة لكتل SageMaker HyperPod التي تستخدم أداة EKS القائمة على التكوين والتنسيق والإدارة المؤتمتة في جميع مناطق AWS حيث يتم دعم Amazon SageMaker HyperPod. لمعرفة المزيد، راجع التقاط البيانات للاستدلال على HyperPod.