Présentation de l’inférence optimisée en matière de latence pour les modèles de base dans Amazon Bedrock
L’inférence optimisée en matière de latence pour les modèles de base d’Amazon Bedrock est désormais disponible en version préliminaire publique, ce qui permet d’accélérer les temps de réponse et d’améliorer la réactivité des applications d’IA. Actuellement, ces nouvelles options d’inférence prennent en charge le modèle Claude 3.5 Haiku d’Anthropic et les modèles Llama 3.1 405B et 70B de Meta, offrant une latence réduite par rapport aux modèles standard sans compromettre la précision. Comme l’a vérifié Anthropic, grâce à l’inférence optimisée pour la latence dans Amazon Bedrock, Claude 3.5 Haiku s’exécute plus rapidement sur AWS que partout ailleurs. En outre, grâce à l’inférence optimisée en matière de latence dans Bedrock, Llama 3.1 405B et 70B s’exécutent plus rapidement sur AWS que tout autre fournisseur de cloud majeur.
Alors que de plus en plus de clients mettent en production leurs applications d’IA génératives, l’optimisation de l’expérience de l’utilisateur final devient cruciale, en particulier pour les applications sensibles à la latence, telles que les chatbots de service client en temps réel et les assistants de codage interactifs. Grâce à des puces d’intelligence artificielle spécialement conçues comme AWS Trainium2 et à des optimisations logicielles avancées dans Amazon Bedrock, les clients peuvent accéder à davantage d’options pour optimiser leur inférence pour un cas d’utilisation particulier. L’accès à ces fonctionnalités ne nécessite aucune configuration supplémentaire ni aucun ajustement du modèle, ce qui permet d’améliorer immédiatement les applications existantes avec des temps de réponse plus rapides.
L’inférence optimisée pour la latence est disponible pour le Haiku Claude 3.5 d’Anthropic et les Llama 3.1 405B et 70B de Meta dans la région US Est (Ohio) via une inférence interrégionale. Pour commencer, rendez-vous sur la console Amazon Bedrock. Pour plus d’informations sur Amazon Bedrock et ses fonctionnalités, consultez la page produit, la page de tarification et la documentation d’Amazon Bedrock.