تدعم Amazon Bedrock الآن ملاحظة زمن الاستجابة بالرمز الأول واستهلاك الحصص
إن Amazon Bedrock خدمة مُدارة بالكامل لإنشاء تطبيقات الذكاء الاصطناعي المولِّد باستخدام نماذج أساسية عالية الأداء مقدَّمة من رواد مزودي خدمة الذكاء الاصطناعي. وتدعم الآن مقياسين جديدين لـ CloudWatch، وهما TimeToFirstToken وEstimatedTPMQuotaUsage، ويمنحك ذلك رؤية أعمق حول أداء الاستدلال واستهلاك الحصص.
يقيس TimeToFirstToken زمن الاستجابة من وقت إرسال الطلب إلى وقت استلام الرمز الأول لواجهات API الخاصة بالبث (ConverseStream وInvokeModelWithResponseStream). يمكنك استخدام هذا المقياس لتعيين منبهات CloudWatch التي تراقب تدهور زمن الاستجابة وتنشئ خطوط أساس لاتفاقية مستوى الخدمة (SLA) دون أي أدوات من جانب العميل. يتتبع EstimatedTPMQuotaUsage استهلاكك المقدَّر لحصة الرموز في الدقيقة (TPM)، بما في ذلك رموز الكتابة في ذاكرة التخزين المؤقت مضاعِفات استنفاد المخرجات، عبر جميع واجهات API الخاصة بالاستدلال (Converse، وInvokeModel، وConverseStream، وInvokeModelWithResponseStream). يمكنك استخدام هذا المقياس لتعيين المنبهات الاستباقية قبل الوصول إلى حد حصتك، وتتبع استهلاك حصتك في النماذج لديك، وطلب المزيد من الزيادات في الحصص قبل وضع حد لمعدل الاستخدام.
يتم دعم كلا المقياسين في جميع مناطق Bedrock التجارية للنماذج المتوفرة في ملفات تعريف الاستدلال في مختلف المناطق والاستدلال داخل المنطقة، والتي يتم تحديثها كل دقيقة للطلبات التي ينجح اكتمالها. يتوفر ذلك لك في CloudWatch على الفور، وستدفع فقط مقابل استدلال النموذج الأساسي الذي تستهلكه، دون الحاجة إلى تغييرات في واجهة API أو الاشتراك.
لمعرفة المزيد حول TimeToFirstToken وEstimatedTPMQuotaUsage، راجع صفحة الوثائق لدينا حول مراقبة Amazon Bedrock.