Возможности Amazon S3

С помощью имен бакетов S3, префиксов, тегов объектов, S3 Metadata и сервиса S3 Inventory можно классифицировать данные, создавать отчеты и настраивать другие возможности S3. Сервис Пакетные операции Amazon S3 упрощает эти задачи, независимо от количества объектов, и позволяет управлять данными в Amazon S3 в любом масштабе. Используя Пакетные операции S3, вы можете копировать объекты между бакетами, заменять наборы тегов объектов, изменять элементы управления доступом и восстанавливать архивные объекты из хранилищ классов сервисов Гибкое извлечение данных Amazon S3 Glacier и Глубокий архив Amazon S3 Glacier с помощью одного запроса к API S3 или нескольких шагов в консоли S3. С помощью сервиса Пакетные операции S3 также можно применять функции AWS Lambda к объектам для запуска настраиваемой бизнес-логики, например для обработки данных или транскодирования файлов изображений. Для начала работы выберите исходный бакет и фильтры либо создайте список целевых объектов, используя отчет Инвентаризацию S3 или указав собственный список, а затем выберите требуемую операцию в меню. После выполнения запроса пакетных операций S3 вы получите оповещение и отчет обо всех изменениях. Подробные сведения о сервисе Пакетные операции S3 см. в обучающем видео.

Метаданные Amazon S3 предоставляет запрашиваемые метаданные объектов практически в реальном времени, чтобы упорядочить данные и ускорить их обнаружение. Сервис помогает собирать, идентифицировать и использовать данные S3 для бизнес-аналитики, приложений с логическим выводом в реальном времени и многого другого. Метаданные S3 предназначены для создания метаданных всех объектов, как новых, так и существующих, в бакетах S3 и управления ими. Сюда относятся определенные системой сведения, такие как размер и источник объекта, а также настраиваемые метаданные, позволяющие аннотировать объекты такими данными, как артикул продукта, идентификатор транзакции или рейтинг контента с помощью тегов. Метаданные S3 хранят эту информацию в двух таблицах Apache Iceberg: таблицах инвентаризации в реальном времени, в которых отображается весь бакет с возможностью запроса, и таблицах журналов, отслеживающих изменения в бакете. 

Amazon S3 также поддерживает возможности для контроля версий данных и предотвращения случайного удаления, а также для репликации данных в пределах одного региона AWS или в другой Регион AWS. С помощью Управления версиями в S3 можно сохранять, извлекать и восстанавливать все версии объекта, хранящегося в Amazon S3, что позволяет восстанавливать систему после непреднамеренных действий пользователей и сбоев приложений. Для предотвращения случайного удаления включите для бакета S3 Удаление с использованием многофакторной аутентификации (MFA). При попытке удалить объект из бакета с включенным удалением с использованием MFA потребуются два этапа аутентификации: мандат аккаунта AWS и последовательность из действительного серийного номера, пробела и шестизначного кода с экрана принятого устройства аутентификации, такого как аппаратный ключ или ключ безопасности U2F.

С помощью Репликации Amazon S3 можно реплицировать объекты (и связанные метаданные и теги объектов) в одну или несколько целевых бакетов в пределах одного региона или нескольких регионов для снижения задержек, обеспечения соответствия требованиям, безопасности, аварийного восстановления и ряда других стандартных примеров использования. Межрегиональную репликацию в S3 (CRR) можно настроить для репликации объектов из исходного бакета S3 в один или нескольких целевых бакетов в другом Регионе. Репликация в рамках региона (SRR) в S3 позволяет реплицировать объекты между бакетами в пределах одного Региона AWS. Репликация в режиме реального времени, такая как CRR и SRR, автоматически реплицирует вновь загруженные объекты по мере их записи в бакет, в то время как Пакетная репликация S3 позволяет работать с уже существующими объектами. Пакетную репликацию S3 можно использовать для заполнения нового бакета существующими объектами, повторной попытки неудавшейся ранее репликации объектов, переноса данных между аккаунтами или добавления новых бакетов в озеро данных. Контроль времени репликации S3 Amazon (S3 RTC) закреплена в Соглашении об уровне обслуживания (SLA) и обеспечивает прозрачность данных при репликации и соответствие требованиям к репликации данных.

Чтобы получить доступ к реплицированным наборам данных в бакетах S3 в различных Регионах и аккаунтах, используйте Точки доступа S3 для нескольких регионов Amazon, чтобы создать единый глобальный адрес, который ваши приложения и клиенты будут использовать, где бы они не находились. Глобальный адрес позволяет создавать приложения для нескольких регионов с такой же простой архитектурой, как для одного региона, а затем запускать их в любой точке мира. Точки доступа Amazon S3 для нескольких регионов могут повысить производительность до 60 % при доступе к наборам данных, которые реплицируются в нескольких Регионах AWS, и аккаунтам. Точки доступа S3 для нескольких регионов на базе Международного ускорителя AWS учитывают такие факторы, как перегрузка сети и местоположение запрашивающего приложения, чтобы динамически направлять запросы по сети AWS к копии данных с наименьшей задержкой. С помощью средства резервного переключения Точек доступа S3 для нескольких регионов вы можете выполнять резервное переключение между реплицированными наборами данных в Регионах, что дает возможность за считаные минуты переносить трафик запросов данных S3 в альтернативный Регион AWS.

Вы также можете применить политику «однократная запись, многократное считывание» (WORM) с помощью Блокировки объектов Amazon S3. Возможность управления S3 блокирует удаление версий объектов в течение периода хранения, установленного клиентом. Эта возможность позволяет применять политики хранения в качестве дополнительного уровня защиты данных либо для выполнения нормативных требований. Рабочие нагрузки можно переносить из существующих систем WORM в Amazon S3, а Блокировку объекта S3 можно настроить на уровне объектов или бакетов для предотвращения удаления версий объектов до заданной даты, которую вы можете определить самостоятельно или в соответствии с нормативными требованиями. Объекты с блокировкой объектов S3 сохраняют защиту WORM даже после перемещения в другие классы хранилища с политикой Жизненного цикла Amazon S3. Для отслеживания объектов с Блокировкой S3 можно использовать отчет Инвентаризации S3, содержащий сведения о статусе WORM объектов. S3 Object Lock можно настроить в одном из двух режимов. При использовании в режиме Governance аккаунты AWS с определенными разрешениями IAM могут снимать защиту блокировку объектов S3 с объектов. Если вам требуется большая неизменяемость для выполнения законодательных требований, можно использовать режим Compliance. В режиме Compliance защиту не может снять ни один пользователь, в том числе аккаунт root.

С помощью Объектива хранения данных S3 пользователь может получить наглядное представление об использовании объектного хранилища, тенденциях активности в масштабах организации, а также практические рекомендации по оптимизации расходов, улучшению производительности приложений и применению передовых методов защиты данных. Объектив хранения данных Amazon S3 – это первый инструмент для аналитической обработки данных облачного хранилища, с помощью которого можно получить единое представление об использовании и активности объектного хранилища в даже тысячах аккаунтов организации, а также детальные данные для составления аналитических оценок на уровне аккаунта, бакета или даже префикса. В основу Объектива хранения данных S3 положено более 16 лет опыта помощи клиентам в оптимизации хранения данных. Благодаря этому он выполняет анализ количественных показателей в масштабах всей организации и предоставляет ситуативные рекомендации относительно снижения затрат на хранение, улучшения производительности приложений и применения передовых методов защиты данных. 

Таблицы Amazon S3 — это первое облачное хранилище объектов со встроенной поддержкой формата открытых таблиц и самый простой способ хранения табличных данных в нужном масштабе. Таблицы S3 специально оптимизированы для аналитических рабочих нагрузок. Они обеспечивают оптимальную производительность запросов и до 10 раз больше транзакций в секунду по сравнению с таблицами Iceberg, хранящимися в бакетах S3 общего назначения. Таблицы S3 поддерживают стандарт Apache Iceberg и легко запрашиваются популярными движками запросов AWS и сторонних разработчиков. Кроме того, в Таблицах S3 предусмотрено непрерывное обслуживание таблиц для автоматической оптимизации эффективности запросов и затрат на хранение с течением времени даже в условиях масштабирования и развития озера данных.

В таблицах S3 используются бакеты таблиц — тип бакетов, специально созданный для хранения табличных данных. С помощью бакетов таблиц можно легко создавать таблицы и настраивать разрешения на уровне таблиц для управления доступом к озеру данных. После этого в таблицы можно загружать данные и запрашивать их с помощью стандартного SQL, а также использовать расширенные аналитические возможности Apache Iceberg, такие как транзакции на уровне строк, снимки с возможностью запроса, развитие схем и многое другое. В бакетах таблиц также доступно обслуживание таблиц на основе политик, что помогает автоматизировать такие эксплуатационные задачи, как сжатие, управление снимками и удаление файлов без ссылок.

Amazon S3 Vectors предоставляет первое облачное хранилище объектов с встроенной поддержкой хранения векторов и запросов к ним. S3 Vectors обеспечивает экономичное, эластичное и надежное векторное хранилище, которое можно запрашивать на основе семантического значения и сходства. Он обеспечивает время ответа на запросы менее секунды и до 90% снижает затраты на загрузку, хранение и запрос векторов в нужном масштабе. Благодаря интеграции с Базами знаний Amazon Bedrock вы можете использовать S3 Vectors в качестве хранилища векторов и сократить затраты на примеры использования дополненной извлеченными данными генерации (RAG).

В S3 Vectors представлены векторные бакеты — тип бакетов, специально созданный для хранения векторов. Векторный бакет поддерживает специализированный набор API-интерфейсов для хранения, доступа и запроса векторов без необходимости выделять для этого какую-либо инфраструктуру. В векторном бакете вы организуете векторы в векторные индексы и можете эластично масштабировать до 10 000 векторных индексов в векторном бакете. При добавлении векторов в векторный индекс вы также можете прикрепить метаданные, чтобы ограничить будущие запросы на основе набора условий (например, дат, категорий и предпочтений пользователя). S3 Vectors полезны для самых разных примеров использования, например, для поиска подходящих песен для плейлистов, похожих видеороликов, соответствующих фрагментов кода, аналогичных рентгеновских снимков для диагностики или паттернов в журналах. S3 Vectors интегрируется с управляемым Сервисом Amazon OpenSearch Service, что позволяет оптимизировать затраты на хранение векторов, продолжая использовать API-интерфейсы OpenSearch для рабочих нагрузок, которые могут воспользоваться расширенными функциями поиска, включая гибридный поиск, агрегирование, расширенную фильтрацию и фасетный поиск. Можно также экспортировать векторы из S3 Vectors в бессерверный сервис OpenSearch Serverless для рабочих нагрузок, требующих выполнения запросов в реальном времени.

Файлы S3 — это общая файловая система, обеспечивающая прямое подключение любых вычислительных ресурсов AWS к данным в Amazon S3. Она обеспечивает быстрый прямой доступ ко всем данным S3 в виде файлов с полной поддержкой семантики файловой системы и низкой задержкой, при этом данные не покидают S3. Это означает, что работающие с файлами приложения, агенты и рабочие группы теперь могут получать доступ к данным S3 и работать с ними как с файловой системой, применяя уже имеющиеся инструменты. Вам больше не потребуется дублировать данные или регулярно переносить их между объектным хранилищем и хранилищем файловой системы. Основанные на файлах средства и приложения организации теперь могут работать с данными S3 напрямую из любого вычислительного инстанса, контейнера или функции с использованием тех же инструментов, что уже применяются вашими специалистами и агентами.

Благодаря Файлам S3 решение Amazon S3 становится первым и единственным объектным хранилищем в облаке, предоставляющим доступ к полнофункциональной и высокопроизводительной файловой системе для ваших данных. Файлы S3 сочетают производительность и простоту файловой системы с масштабируемостью, надежностью и экономической эффективностью S3. В результате не возникает никаких обособленных баз данных, никаких сложностей синхронизации и никаких компромиссов. Хранилище файлов и объектов в едином расположении без компромиссов.