Amazon Bedrock amplía la compatibilidad con Service Quotas
Amazon Bedrock es un servicio completamente administrado que da acceso seguro y de nivel empresarial a modelos básicos de alto rendimiento de las principales empresas de IA. De este modo, puede crear y escalar aplicaciones de IA generativa. Los clientes de Amazon Bedrock ahora pueden ver las cuotas de inferencia para el punto de conexión bedrock-mantle a través de AWS Service Quotas. Esto brinda a los clientes una forma familiar y uniforme de rastrear los límites de este punto de conexión, de la misma manera que ya lo hacen con el punto de conexión bedrock-runtime y otros servicios de AWS, y les brinda una visibilidad clara de los límites que se aplican a sus cargas de trabajo.
El punto de conexión bedrock-mantle es compatible con la API Responses de OpenAI, la API Chat Completions de OpenAI y la API Messages de Anthropic, lo que permite a los clientes ejecutar las aplicaciones existentes basadas en OpenAI o Anthropic en Amazon Bedrock con cambios mínimos de código. AWS Service Quotas ahora expone las cuotas de tokens de entrada por minuto y de tokens de salida por minuto por modelo para los modelos compatibles en el punto de conexión.
Con este lanzamiento, los clientes pueden ver los límites que tienen en su punto de conexión y pueden planificar de forma proactiva la escala de producción. Para comenzar, abra la consola de AWS Service Quotas, elija Amazon Bedrock y busque “Bedrock Mantle” para ver sus cuotas actuales. Para solicitar un aumento de cualquiera de estas cuotas, siga el proceso estándar de aumento de límites de Amazon Bedrock. La compatibilidad de Service Quotas con el punto de conexión bedrock-mantle está disponible en todas las regiones de AWS en las que se ofrece el punto de conexión: este de EE. UU. (norte de Virginia, Ohio), oeste de EE. UU. (Oregón), Asia-Pacífico (Mumbai, Tokio, Sídney, Yakarta), Europa (Fráncfort, Irlanda, Londres, Milán, Estocolmo) y América del Sur (São Paulo). Para obtener más información, consulte Cuotas para Amazon Bedrock.