Adesso Amazon Bedrock supporta gli incorporamenti compressi da Cohere Embed
Adesso Amazon Bedrock supporta gli incorporamenti compressi (int8 e binari) dal modello Cohere Embed, consentendo a sviluppatori e aziende di creare applicazioni di IA generativa più efficienti senza compromettere le prestazioni. Cohere Embed è uno dei principali modelli di integrazione del testo. Viene utilizzato più frequentemente per alimentare i sistemi di Retrieval-Augmented Generation (RAG) e di ricerca semantica.
Le integrazioni di testo prodotte dal modello Cohere Embed devono essere archiviate in un database con funzionalità di ricerca vettoriale, con costi di storage direttamente correlati alle dimensioni dell'output di integrazione e alla precisione del formato numerico. Le tecniche di addestramento del modello basate sulla compressione di Cohere consentono al modello di generare incorporamenti in formato binario e int8 di precisione, di dimensioni significativamente inferiori rispetto al formato di precisione FP32 spesso utilizzato, con una degradazione minima della precisione. Ciò consente di eseguire le applicazioni di ricerca aziendale in modo più rapido, economico ed efficiente. int8 e gli incorporamenti binari sono particolarmente utili per configurazioni di grandi dimensioni e multi-tenancy, in cui la possibilità di cercare milioni di incorporamenti in millisecondi è un vantaggio aziendale fondamentale. Gli incorporamenti compressi di Cohere ti consentono di creare applicazioni sufficientemente efficienti da essere messe in produzione su larga scala, accelerando la tua strategia IA per supportare dipendenti e clienti.
Cohere Embed int8 e gli incorporamenti binari sono ora disponibili in Amazon Bedrock in tutte le Regioni AWS in cui è disponibile il modello Cohere Embed. Per ulteriori informazioni, leggi la pagina del prodotto Cohere in Amazon Bedrock, la documentazione e il blog sul lancio di Cohere. Per iniziare a usare i modelli Cohere in Amazon Bedrock, visita la console Amazon Bedrock.