Хранилище Amazon S3 Vectors теперь является общедоступным и имеет в 40 раз больший масштаб по сравнению с предварительной версией
Amazon S3 Vectors, первое облачное хранилище объектов со встроенной поддержкой хранения и запроса векторов, теперь является общедоступным. S3 Vectors представляет собой специализированное и экономичное векторное хранилище, предназначенное для агентов искусственного интеллекта (ИИ), логического вывода, дополненной извлеченными данными генерации (RAG) и семантического поиска в масштабе миллиардов векторов. S3 Vectors обеспечивает такую же эластичность, надежность и доступность, как Amazon S3, и позволяет на 90 % снизить общие затраты на загрузку, хранение и запросы векторов. Общедоступная версия позволит хранить и запрашивать до двух миллиардов векторов в каждом индексе, а также эластично масштабироваться до 10 000 векторных индексов в каждой векторной корзине. Редко используемые запросы по-прежнему будут возвращать результаты менее чем за секунду, тогда как более частые теперь будут иметь задержку примерно до 100 миллисекунд. Приложения могут достигать пропускной способности записи в 1000 векторов в секунду при потоковой передаче в индексы одновекторных обновлений, получать до 100 результатов поиска по каждому запросу и хранить до 50 ключей метаданных по каждому вектору для детальной фильтрации запросов.
Хранилище S3 Vectors поддерживает новый тип векторной корзины, оптимизированной для надежного и недорогого хранения векторных данных. Векторные корзины позволяют упорядочивать данные на основе векторных индексов и поддерживают специальный набор API-интерфейсов для хранения векторов, доступа к ним и выполнения к ним запросов без необходимости выделения какой-либо инфраструктуры. По умолчанию S3 Vectors использует для всех данных в векторной корзине шифрование на стороне сервера с применением ключей, управляемых S3 (SSE-S3). Однако при желании можно использовать Сервис управления ключами AWS (SSE-KMS) и задать клиентский ключ по умолчанию для шифрования всех новых векторных индексов в корзине. Кроме того, теперь можно задавать отдельные клиентские ключи для каждого векторного индекса, что поможет создавать масштабируемые многопользовательские приложения и выполнять нормативные и управленческие требования. Векторные корзины и индексы также можно отмечать тегами, чтобы использовать контроль доступа на основе атрибутов (ABAC). И можно отслеживать и упорядочивать затраты с помощью Выставления счетов и управления расходами AWS.
S3 Vectors интегрируется с базами знаний Amazon Bedrock, уменьшая стоимость использования больших векторных наборов данных для RAG. При создании базы знаний в Amazon Bedrock или Единой студии Amazon SageMaker вы можете выбрать уже существующий векторный индекс S3 или воспользоваться специальным рабочим процессом для быстрого создания нового. Использование сервиса Amazon OpenSearch позволяет оптимизировать затраты на гибридные рабочие нагрузки поиска, если настроить этот сервис для автоматического управления векторным хранилищем в S3.
Хранилище S3 Vectors теперь является общедоступным в 14 регионах AWS, тогда как в предварительной версии их было только пять. Чтобы узнать больше, ознакомьтесь со страницей продукта, страницей цен на S3, документацией и блогом AWS News.