Amazon Bedrock ofrece FM seleccionados para la inferencia por lotes al 50 % del precio de la inferencia bajo demanda
El año pasado, presentamos la compatibilidad con la inferencia por lotes en versión preliminar, lo que permite procesar las solicitudes por lotes para obtener respuestas para la evaluación del modelo, la experimentación y el procesamiento sin conexión. A partir de hoy, Amazon Bedrock admite la inferencia por lotes en condiciones de disponibilidad general en todas las regiones de AWS compatibles para los modelos compatibles. Utilice la inferencia por lotes para ejecutar varias solicitudes de inferencia de forma asincrónica y mejorar el rendimiento de la inferencia de modelos en conjuntos de datos de gran tamaño. Amazon Bedrock ofrece modelos fundacionales (FM) seleccionados de los principales proveedores de inteligencia artificial, como Anthropic, Meta, Mistral AI y Amazon, para la inferencia por lotes al 50 % del precio de inferencia bajo demanda. El tiempo de finalización de la inferencia por lotes depende de varios factores, como el tamaño del trabajo, pero puede esperar que el plazo de finalización de un trabajo normal sea de 24 horas. Puede obtener más información en nuestra documentación de inferencia por lotes y también puede consultar nuestra documentación de referencia de API.
Amazon Bedrock es un servicio totalmente administrado que ofrece una selección de modelos fundacionales (FM) de alto rendimiento de las principales empresas de IA, como AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI además de Amazon, mediante una sola API. Amazon Bedrock también proporciona un amplio conjunto de capacidades que necesitan los clientes para crear aplicaciones de IA generativas con seguridad, privacidad e IA responsable incorporada. Estas capacidades ayudan a crear aplicaciones personalizadas para múltiples casos de uso en diferentes industrias, lo que ayuda a las organizaciones a lograr un crecimiento sostenido a partir de la IA generativa y, al mismo tiempo, asegurar la confianza del cliente y la gobernanza de datos.
Para obtener más información sobre Amazon Bedrock, visite la página de Amazon Bedrock y consulte la documentación de Amazon Bedrock.