Агенты, потоки и базы знаний Amazon Bedrock теперь поддерживают модели, оптимизированные для задержек

Проведено: 23 дек. 2024 г.

Агенты, потоки и базы знаний Amazon Bedrock теперь предлагают поддержку недавно анонсированных моделей, находящихся в предварительной версии и оптимизированных с учетом задержек, с помощью SDK. Это усовершенствование позволяет сократить время отклика и повысить чувствительность приложений искусственного интеллекта, созданных с помощью инструментов Amazon Bedrock. В настоящее время эта оптимизация доступна для модели Claude 3.5 Haiku от Anthropic и моделей Llama 3.1 405B и 70B от Meta, обеспечивающих меньшую задержку по сравнению со стандартными моделями без ущерба для точности.

Это обновление особенно полезно для клиентов, разрабатывающих чувствительные к задержкам приложения, такие как чат-боты для обслуживания клиентов в режиме реального времени и интерактивные помощники по программированию. Используя специализированные чипы с поддержкой ИИ, такие как AWS Trainium2, и улучшенную оптимизацию программного обеспечения в Amazon Bedrock, клиенты теперь получают дополнительные возможности для оптимизации логического вывода под конкретные варианты использования. Важно отметить, что эти возможности можно сразу же интегрировать в существующие приложения без дополнительной настройки или доработки модели, что приводит к повышению производительности и сокращению времени отклика.

Оптимизированная с учетом задержек поддержка логического вывода для агентов, потоков и баз знаний Amazon Bedrock доступна в регионе Восток США (Огайо) с помощью межрегионального логического вывода. Клиенты могут получить доступ к этим новым возможностям через пакет SDK Amazon Bedrock с помощью конфигурации времени выполнения, что позволяет им программно интегрировать эти оптимизированные модели в свои рабочие процессы и приложения.

Чтобы узнать больше об Amazon Bedrock и его возможностях, включая новую поддержку логического вывода, оптимизированную с учетом задержек, посетите страницу продукта Amazon Bedrock, страницу цен и просмотрите документацию.