Amazon Bedrock já oferece suporte a incorporações compactadas do Cohere Embed
Agora, o Amazon Bedrock oferece suporte a incorporações compactadas (int8 e binárias) do modelo Cohere Embed, permitindo que desenvolvedores e empresas criem aplicações de IA generativa mais eficientes sem comprometer a performance. O Cohere Embed é um modelo líder de incorporação de texto. É usado com mais frequência para alimentar sistemas de geração aumentada de recuperação (RAG) e pesquisa semântica.
A saída de incorporações de texto do modelo Cohere Embed precisa ser armazenada em um banco de dados com recursos de pesquisa vetorial. Os custos de armazenamento são relacionados diretamente às dimensões da saída de incorporação e à precisão do formato numérico. As técnicas de treinamento de modelos sensíveis à compressão da Cohere permitem que o modelo gere incorporações no formato de precisão binário e int8, significativamente menores em tamanho do que o formato de precisão FP32 usado com frequência, com degradação mínima da precisão. Dessa forma, você pode executar aplicações de pesquisa corporativas com mais rapidez, economia e eficiência. As incorporações int8 e binárias são especialmente interessantes para grandes configurações de multilocação, nas quais a capacidade de pesquisar milhões de incorporações em milissegundos é uma vantagem de negócios essencial. As incorporações compactadas da Cohere permitem que você crie aplicações que têm o nível de eficiência necessário para uso em grande escala na produção, acelerando a estratégia de IA para apoiar funcionários e clientes.
Agora, as incorporações int8 e binário do modelo Cohere Embed estão disponíveis no Amazon Bedrock em todas as regiões da AWS que oferecem esse modelo. Para saber mais, leia a página de produto do Cohere no Amazon Bedrock, a documentação e o blog de lançamento do Cohere. Para começar a usar os modelos da Cohere no Amazon Bedrock, acesse o console do Amazon Bedrock.