Amazon Bedrock ahora admite incrustaciones comprimidas desde Cohere Embed
Amazon Bedrock ahora admite incrustaciones comprimidas (int8 y binarias) del modelo Cohere Embed, lo que permite a los desarrolladores y a las empresas crear aplicaciones de IA generativa más eficientes sin comprometer el rendimiento. Cohere Embed es un modelo líder de inserción de texto. Se usa con mayor frecuencia para impulsar la generación aumentada de recuperación (RAG) y los sistemas de búsqueda semántica.
La salida de incrustaciones de texto del modelo Cohere Embed debe almacenarse en una base de datos con capacidades de búsqueda vectorial, y los costos de almacenamiento están directamente relacionados con las dimensiones de la salida de incrustación, así como con la precisión del formato numérico. Las técnicas de entrenamiento de modelos compatibles con la compresión de Cohere permiten al modelo generar incrustaciones en formato de precisión binario e int8, que son significativamente más pequeños que el formato de precisión FP32 que se usa con frecuencia, con una degradación mínima de la precisión. Esto permite ejecutar las aplicaciones de búsqueda empresarial de forma más rápida, económica y eficiente. Las incrustaciones int8 y binarias son especialmente interesantes para las grandes configuraciones con varios usuarios, en las que la capacidad de buscar millones de incrustaciones en milisegundos es una ventaja empresarial fundamental. Las incrustaciones comprimidas de Cohere le permiten crear aplicaciones que son lo suficientemente eficientes como para ponerlas en producción a escala, lo que acelera su estrategia de IA para apoyar a sus empleados y clientes.
Cohere Embed int8 y las incrustaciones binarias ya están disponibles en Amazon Bedrock en todas las regiones de AWS en las que está disponible el modelo Cohere Embed. Para obtener más información, lea la página del producto Cohere en Amazon Bedrock, la documentación y el blog de lanzamiento de Cohere. Para empezar a utilizar los modelos de Cohere en Amazon Bedrock, visite la consola de Amazon Bedrock.