Amazon Bedrock ahora admite la inferencia por lotes para los modelos Claude Sonnet 4 de Anthropic y GPT-OSS de OpenAI
Los modelos Claude Sonnet 4 de Anthropic y GPT-OSS 120B y 20B de OpenAI ya están disponibles para la inferencia por lotes en Amazon Bedrock. Con la inferencia por lotes, puede ejecutar varias solicitudes de inferencia de forma asincrónica. De esta manera, se mejora el rendimiento en grandes conjuntos de datos al 50 % del precio de la inferencia bajo demanda. Amazon Bedrock ofrece modelos fundacionales (FM) selectos de los principales proveedores de inteligencia artificial, como Anthropic, OpenAI, Meta y Amazon, para la inferencia por lotes. Esto facilita y hace más rentable procesar cargas de trabajo de gran volumen.
Con la inferencia por lotes en los modelos Claude Sonnet 4 y OpenAI GPT-OSS, puede procesar grandes conjuntos de datos para escenarios como el análisis de documentos y de comentarios de clientes, la generación masiva de contenido (por ejemplo, textos de marketing, descripciones de productos), las evaluaciones de resultados y peticiones a gran escala, el resumen automatizado de bases de conocimientos y archivos, la categorización masiva de tickets de soporte o correos electrónicos y la extracción de datos estructurados de texto no estructurado, a escala y con un costo menor. Hemos optimizado nuestra oferta de lotes para ofrecer un mayor rendimiento general de lotes en estos modelos más nuevos en comparación con los anteriores. Además, ahora puede realizar un seguimiento del progreso de su carga de trabajo por lotes a nivel de cuenta de AWS con las métricas de Amazon CloudWatch. Para todos los modelos, estas métricas incluyen el total de registros pendientes, registros procesados y tokens por minuto, y para los modelos Claude, también incluyen los tokens pendientes de procesamiento.
Para obtener más información sobre la inferencia por lotes en Amazon Bedrock, consulte la documentación sobre la inferencia por lotes. Puede visitar la página Regiones y modelos compatibles para la inferencia por lotes para obtener más información sobre los modelos compatibles y seguir la referencia de la API de Amazon Bedrock para empezar a utilizar la inferencia por lotes.