تقديم الاستدلال المحسّن لزمن الاستجابة للنماذج الأساسية في Amazon Bedrock

:تاريخ النشر 2 ديسمبر 2024

يتوفر الآن الاستدلال المحسّن لزمن الاستجابة للنماذج الأساسية في Amazon Bedrock في المعاينة العامة، مما يوفر أوقات استجابة أسرع واستجابة محسّنة لتطبيقات الذكاء الاصطناعي. حاليًا، تدعم خيارات الاستدلال الجديدة هذه نموذج Claude 3.5 Haiku من Anthropic ونماذج Llama 3.1 405B و70B من Meta التي توفر ومن استجابة أقل مقارنة بالنماذج القياسية دون المساس بالدقة. يعمل Claude 3.5 Haiku بشكل أسرع على AWS من أي مكان آخر وذلك وفقًا ما تحققت منه Anthropic، باستخدام الاستدلال المحسّن لوقت الاستجابة في Amazon Bedrock. بالإضافة إلى ذلك، مع الاستدلال المحسّن لوقت الاستجابة في Bedrock، يعمل Llama 3.1  405B و70B بشكل أسرع على AWS من أي مزود سحابة رئيسي آخر.

مع قيام المزيد من العملاء بنقل تطبيقات الذكاء الاصطناعي المولّد إلى الإنتاج، يصبح تحسين تجربة المستخدم النهائي أمرًا بالغ الأهمية، لا سيما بالنسبة للتطبيقات الحساسة لزمن الاستجابة مثل روبوتات الدردشة لخدمة العملاء في الوقت الفعلي ومساعدي الترميز التفاعلي. باستخدام رقائق الذكاء الاصطناعي المصممة لهذا الغرض مثل AWS Trainium2 وتحسينات البرامج المتقدمة في Amazon Bedrock، يمكن للعملاء الوصول إلى المزيد من الخيارات لتحسين استنتاجهم لحالة استخدام معينة. لا يتطلب الوصول إلى هذه الإمكانات أي إعداد إضافي أو ضبط دقيق للنموذج، مما يسمح بالتحسين الفوري للتطبيقات الحالية مع أوقات استجابة أسرع.

يتوفر الاستدلال المحسّن لزمن الاستجابة لـ Claude 3.5 Haiku من Anthropic وLlama 3.1 405B و70B من Meta في منطقة شرق الولايات المتحدة (أوهايو) عبر الاستدلال عبر المناطق. للبدء، تفضل بزيارة وحدة تحكم Amazon Bedrock. لمزيد من المعلومات حول Amazon Bedrock وإمكانياته، تفضل بزيارة صفحة منتج Amazon Bedrock وصفحة التسعير والوثائق.