Amazon Bedrock ajoute des métriques Amazon CloudWatch pour les API compatibles avec OpenAI et Anthropic
Amazon Bedrock est un service entièrement géré, qui fournit un accès sécurisé de niveau entreprise aux modèles de fondation hautement performants des principales sociétés d’IA, vous permettant de créer et de mettre à l’échelle des applications d’IA générative. Les clients d’Amazon Bedrock peuvent désormais surveiller le trafic d’inférence vers le point de terminaison bedrock-mantle à l’aide des métriques Amazon CloudWatch, comme ils le font déjà pour le point de terminaison bedrock-runtime et les autres services AWS. Le point de terminaison bedrock-mantle prend en charge les API OpenAI Responses, OpenAI Chat Completions et Anthropic Messages, ce qui permet aux clients d’exécuter des applications basées sur OpenAI ou Anthropic existantes sur Amazon Bedrock avec un minimum de modifications de code.
Les métriques CloudWatch pour le point de terminaison bedrock-mantle sont publiées sous l’espace de noms AWS/Bedrockmantle et incluent le nombre d’inférences, le total des jetons d’entrée et de sortie, ainsi que le nombre d’erreurs des clients. Les métriques sont publiées à plusieurs niveaux de granularité, notamment au niveau du compte, du projet, du modèle et du mélange projet-modèle, afin que les clients puissent attribuer l’utilisation et les coûts aux charges de travail et aux équipes appropriées.
Grâce à ce lancement, les clients peuvent surveiller les inférences de production, configurer des alarmes et planifier la capacité sur le point de terminaison bedrock-mantle. Pour commencer, ouvrez la console Amazon CloudWatch, choisissez Métriques, puis sélectionnez l’espace de noms AWS/Bedrockmantle pour afficher les statistiques de votre compte. Les métriques CloudWatch pour le point de terminaison bedrock-mantle sont disponibles dans toutes les Régions AWS où le point de terminaison est proposé, à savoir USA Est (Ohio, Virginie du Nord), USA Ouest (Oregon), Asie-Pacifique (Jakarta, Mumbai, Sydney, Tokyo), Europe (Francfort, Irlande, Londres, Milan, Stockholm) et Amérique du Sud (São Paulo). Pour en savoir plus, consultez Métriques CloudWatch pour le point de terminaison bedrock-mantle.