Amazon Bedrock anuncia la versión preliminar del almacenamiento en caché de peticiones
Hoy, AWS anuncia que Amazon Bedrock ahora admite el almacenamiento en caché de peticiones. El almacenamiento en caché de peticiones es una nueva capacidad que puede reducir los costos hasta en un 90 % y la latencia hasta en un 85 % para los modelos compatibles al almacenar en caché las peticiones de uso frecuente en varias llamadas a la API. Permite almacenar en caché las entradas repetitivas y evitar el reprocesamiento del contexto, como las largas peticiones del sistema y los ejemplos comunes que ayudan a guiar la respuesta del modelo. Cuando se utiliza la memoria caché, se necesitan menos recursos informáticos para generar la salida. Como resultado, no solo podemos procesar su solicitud más rápido, sino que también podemos transferir los ahorros de costos derivados del uso de menos recursos.
Amazon Bedrock es un servicio totalmente administrado que ofrece una selección de FM de alto rendimiento de las principales empresas de IA mediante una sola API. Amazon Bedrock también proporciona un amplio conjunto de capacidades que necesitan los clientes para crear aplicaciones de IA generativa con seguridad, privacidad y capacidades de IA responsable incorporadas. Estas capacidades ayudan a crear aplicaciones personalizadas para múltiples casos de uso en diferentes industrias, lo que ayuda a las organizaciones a lograr un crecimiento sostenido a partir de la IA generativa y, al mismo tiempo, ofrecer las herramientas para generar la confianza del cliente y la gobernanza de datos.
El almacenamiento en caché de peticiones ya está disponible en Claude 3.5 Haiku y Claude 3.5 Sonnet v2 en el Oeste de EE. UU. (Oregón) y el Este de EE. UU. (Virginia del Norte) mediante inferencia interregional, y en los modelos Nova Micro, Nova Lite y Nova Pro en el Este de EE. UU. (Virginia del Norte). En el momento del lanzamiento, solo un número selecto de clientes tendrá acceso a esta característica. Para obtener más información sobre cómo participar en la versión preliminar, consulte esta página. Para obtener más información sobre el almacenamiento en caché de peticiones, consulte nuestra documentación y nuestro blog.