Amazon SageMaker AI تعلن عن إمكانية الملاحظة الجديدة لنقاط نهاية الاستدلال
تتيح إمكانية الملاحظة الجديدة من Amazon SageMaker AI للعملاء تشغيل أعباء عمل استدلال الذكاء الاصطناعي المولّد للإنتاج بثقة، وذلك من خلال توفير رؤية شاملة لأداء الرمز المميز وصحة وحدة معالجة الرسومات وتنسيب مكونات الاستدلال وسلوك التحديد التلقائي لنطاق التطبيق. وتلغي هذه الإمكانية الحاجة إلى العمل اليدوي للبحث في CloudWatch عن المقاييس لكل نقطة نهاية، وربط ارتفاعات زمن الاستجابة بتشبع وحدة معالجة الرسومات أو استنفاد ذاكرة التخزين المؤقت KV وتشخيص سبب بطء عمليات تحديد النطاق. تتعقب هذه الإمكانية مقاييس أداء الاستدلال في الوقت الفعلي، بما في ذلك «زمن الوصول إلى أول رمز»، ووقت الاستجابة بين الرموز، وعمق قائمة الانتظار، والرموز المميزة في الثانية، وتعرضها جنبًا إلى جنب مع سلامة البنية التحتية حتى يتمكن العملاء من تحديد المشكلات وحلها في دقائق بدلاً من ساعات.
تعمل الملاحظة التفصيلية لـ SageMaker AI على تغيير كيفية مراقبة العملاء لأسطول الاستدلال الخاص بهم وتحسينه. توفر لوحة معلومات SageMaker AI Insights الجديدة المبنية مسبقًا في Amazon CloudWatch للعملاء عرضًا موحدًا يتضمن وقت استجابة الرموز، واستخدام وحدة معالجة الرسومات، وعدد نسخ مكونات الاستدلال، وأحداث تحديد النطاق، وتحليل تفصيلي لعمليات التشغيل البارد، مع نشر مقاييس OpenTelemetry الأصلية تلقائيًا، دون الحاجة إلى التهيئة لآليات المراقبة. يتيح ذلك للفرق تشخيص تدهور TTFT بسرعة والتحقق من التوافق مع مناطق التوفر وضبط سياسات التحديد التلقائي لنطاق التطبيق. يمكن للعملاء الذين اعتمدوا بشكل أساسي على أدوات الملاحظة مثل Grafana الاتصال مباشرة باستخدام نقطة نهاية PromQL الإقليمية واستيراد قالب لوحة معلومات تم تكوينه مسبقًا. تساعد هذه الإمكانية العملاء على معالجة المشكلات التشغيلية بأنفسهم وتحقيق أقصى استفادة من أداء استثماراتهم في الذكاء الاصطناعي.
تتوفر إمكانية ملاحظة SageMaker AI Inference في مناطق AWS التالية: شرق الولايات المتحدة (فرجينيا الشمالية)، وشرق الولايات المتحدة (أوهايو)، وغرب الولايات المتحدة (أوريجون)، وغرب الولايات المتحدة (شمال كاليفورنيا)، وكندا (الوسطى)، وأمريكا الجنوبية (ساو باولو)، وأوروبا (أيرلندا)، وأوروبا (فرانكفورت)، وأوروبا (لندن)، وأوروبا (ستوكهولم)، وأوروبا (زيوريخ)، وآسيا والمحيط الهادئ (مومباي)، وآسيا والمحيط الهادئ (سنغافورة)، وآسيا والمحيط الهادئ (سيدني)، وآسيا والمحيط الهادئ (طوكيو) وآسيا والمحيط الهادئ (سول) وآسيا والمحيط الهادئ (جاكرتا). لمعرفة المزيد، تفضل بزيارة الوثائق وصفحة الويب الخاصة بخدمةAmazon SageMaker AI.