Amazon Bedrock теперь поддерживает сжатые встраивания из Cohere Embed
Amazon Bedrock теперь поддерживает сжатое встраивание (int8 и двоичное) из модели Cohere Embed, что позволяет разработчикам и компаниям создавать более эффективные приложения на основе генеративного искусственного интеллекта без ущерба для производительности. Cohere Embed — это ведущая модель встраивания текста. Чаще всего она используется в генерации с дополненной выборкой (RAG) и семантическом поиске.
Встраивание текста, формируемое моделью Cohere Embed, должно храниться в базе данных с возможностями векторного поиска, причем затраты на хранение напрямую связаны с размерами выходных данных встраивания, а также с точностью числового формата. Методы обучения моделей Cohere с учетом сжатия позволяют модели формировать встраивания в двоичном формате точности и формате точности int8, размер которых значительно меньше часто используемого прецизионного формата FP32, а снижение точности в сравнении с ним минимальное. За счет этого вы можете использовать более быстрые, экономные и эффективные корпоративные поисковые приложения. Встраивания int8 и двоичные встраивания представляют особый интерес для крупных многоклиентских систем, в которых возможность поиска по миллионам встраиваний в течение миллисекунд является важнейшим бизнес-преимуществом. Сжатые встраивания Cohere позволяют создавать приложения, достаточно эффективные для масштабного внедрения в производство, ускоряя реализацию стратегии искусственного интеллекта для поддержки ваших сотрудников и клиентов.
Встраивания int8 и двоичные встраивания Cohere Embed теперь доступны в Amazon Bedrock во всех регионах AWS, где доступна модель Cohere Embed. Чтобы узнать больше, ознакомьтесь со страницей продукта Cohere в Amazon Bedrock, документацией и статьей блога о запуске Cohere. Чтобы начать работу с моделями Cohere в Amazon Bedrock, см. консоль Amazon Bedrock.