Amazon Bedrock agrega métricas de Amazon CloudWatch para las API compatibles con OpenAI y Anthropic
Amazon Bedrock es un servicio completamente administrado que da acceso seguro y de nivel empresarial a modelos básicos de alto rendimiento de las principales empresas de IA. De este modo, puede crear y escalar aplicaciones de IA generativa. Los clientes de Amazon Bedrock ahora pueden monitorear el tráfico de inferencias hacia el punto de conexión bedrock-mantle con las métricas de Amazon CloudWatch, del mismo modo que ya lo hacen con el punto de conexión bedrock-runtime y otros servicios de AWS. El punto de conexión bedrock-mantle es compatible con la API de respuestas de OpenAI, la API de finalización de chat de OpenAI y la API de mensajes antrópicos, lo que permite a los clientes ejecutar las aplicaciones existentes basadas en OpenAI o Anthropic en Amazon Bedrock con cambios mínimos de código.
Las métricas de CloudWatch para el punto de conexión bedrock-mantle se publican en el espacio de nombres AWS/Bedrockmantle e incluyen los recuentos de inferencias, los totales de los tokens de entrada y salida y los recuentos de errores del cliente. Las métricas se publican en varios niveles de granularidad, incluidos la cuenta, el proyecto, el modelo y el proyecto más el modelo, para que los clientes puedan atribuir el uso y los costos a las cargas de trabajo y los equipos correctos.
Con este lanzamiento, los clientes pueden monitorear la inferencia de la producción, configurar alarmas y planificar la capacidad en el punto de conexión bedrock-mantle. Para empezar, abra la consola de Amazon CloudWatch, elija Métricas y seleccione el espacio de nombres AWS/BedrockMantle para ver las métricas de su cuenta. Las métricas de CloudWatch para el punto de conexión bedrock-mantle están disponibles en todas las regiones de AWS en las que se ofrece el punto de conexión: este de EE. UU. (norte de Virginia, Ohio), oeste de EE. UU. (Oregón), Asia-Pacífico (Yakarta, Mumbai, Sídney, Tokio), Europa (Fráncfort, Irlanda, Londres, Milán, Estocolmo) y América del Sur (São Paulo). Para obtener más información, consulte las métricas de CloudWatch para el punto de conexión bedrock-mantle.