Вопросы и ответы по Amazon S3

Общий объем хранимых данных и количество объектов в Amazon S3 не ограничены. Размер отдельных объектов Amazon S3 может составлять от 0 байт до 50 ТБ. Самый крупный объект, который можно загрузить через один запрос PUT – 5 ГБ. Для объектов крупнее 100 МБ клиентам рекомендуется использовать многокомпонентную загрузку.

Бакет векторов специально создан для хранения векторов и запросов к ним. Внутри векторного бакета используются не объектные API S3, а специализированные векторные API для записи векторных данных и выполнения запросов к ним на основе семантического значения и сходства. Доступ к векторным данным можно контролировать с помощью существующих механизмов управления доступом в Amazon S3, включая политики бакетов и IAM. Все операции записи в векторный бакет обладают строгой согласованностью, что означает возможность немедленного доступа к самым недавно добавленным векторам. При записи, обновлении и удалении векторов бакеты векторов S3 автоматически оптимизируют хранящиеся в них векторные данные для достижения оптимального соотношения цены и эффективности даже при масштабировании и развитии наборов данных.

Бакет – это контейнер для объектов и таблиц, хранящихся в Amazon S3. В нем можно хранить любое количество объектов. Корзины общего назначения – это базовый тип корзин S3. Любая корзина общего назначения может содержать объекты, хранящиеся в любых классах хранения кроме S3 Express One Zone. Такие корзины рекомендуются для большинства вариантов использования и шаблонов доступа. В корзинах каталогов S3 могут содержаться только объекты, хранящиеся в классе S3 Express One Zone. Это обеспечивает более быструю обработку данных в пределах одной зоны доступности. Они рекомендуются для случаев, когда необходимо обеспечить малую задержку. Каждая корзина каталогов S3 может поддерживать до 2 млн транзакций в секунду (TPS), независимо от количества каталогов в корзине. Корзины таблиц S3 специально созданы для хранения табличных данных в S3, таких как ежедневные транзакции покупок, потоковые данные датчиков или показы рекламы. При использовании корзины таблиц ваши данные хранятся в S3 в виде таблицы Iceberg, а затем вы можете взаимодействовать с этими данными, используя такие возможности аналитики, как транзакции на уровне строк, снимки таблиц с возможностью запроса и многое другое, – все это под управлением S3. Кроме того, бакеты таблиц осуществляют непрерывное обслуживание таблиц для автоматической оптимизации эффективности запросов с течением времени даже в условиях масштабирования и развития озера данных. Векторные бакеты Amazon S3 специально разработаны для хранения векторов и запросов к ним. В таких бакетах используются специальные API для записи векторных данных и запросов к ним на основе семантического значения и сходства. Управлять доступом к векторным данным можно с помощью существующих механизмов контроля доступа в Amazon S3, включая политики бакетов и IAM. При записи, обновлении и удалении векторов векторные бакеты S3 автоматически оптимизируют хранящиеся в них векторные данные для достижения оптимального соотношения цены и эффективности даже при масштабировании и развитии наборов данных.

При создании бакета общего назначения Amazon S3 можно выбрать регион AWS. Хранилища классов «Amazon S3 Стандартный», «Amazon S3 со стандартным редким доступом (S3 стандарт-IA)», «Интеллектуальное многоуровневое хранение Amazon S3», «Мгновенное извлечение данных Amazon S3 Glacier», «Гибкое извлечение данных Amazon S3 Glacier» и «Глубокий архив Amazon S3 Glacier» обеспечивают автоматическое хранение объектов на нескольких устройствах, расположенных как минимум в трех зонах доступности. Каждая зона доступности физически расположена на большом расстоянии (много километров) от любой другой зоны доступности, хотя все они находятся в пределах 100 км (60 миль) друг от друга. Объекты, размещаемые в хранилище класса «S3 одна зона-IA», сохраняются с избыточностью в пределах одной зоны доступности в выбранном регионе AWS.  При создании корзины каталогов вы указываете одну зону доступности или локальную зону AWS. Объекты в корзинах каталогов резервно хранятся в одной зоне доступности или в одной локальной зоне. При использовании локальных зон ваши объекты остаются в локальной зоне, если вы не перенесете их в регион AWS. При использовании S3 на базе Outposts данные размещаются в локальной среде Outpost, однако вы можете вручную переместить их в регион AWS. Дополнительные сведения о доступности Amazon S3 в конкретных регионах AWS см. в списке региональных сервисов AWS.

S3 следует использовать в локальных зонах AWS, если у вас есть данные и приложения, которые необходимо запускать в определенных географических местоположениях в соответствии с требованиями к размещению данных и соответствию требованиям. Например, некоторые нормативные акты требуют хранения данных в определенной стране по нормативным, договорным соображениям или соображениям информационной безопасности, характерным для государственного сектора, здравоохранения, нефтегазовой отрасли и других строго регулируемых отраслей.

Для начала работы с Amazon S3 не требуются предоплата или какие-либо обязательства. В конце месяца с вас будет автоматически снята сумма за пользование сервисом по итогам месяца. Вы можете в любое время просмотреть свои расходы за текущий расчетный период, войдя в аккаунт Amazon Web Services и выбрав панель управления счетами, связанную с вашим профилем консоли. Уровень бесплатного пользования AWS* позволяет приступить к работе с Amazon S3 бесплатно во всех регионах, кроме регионов AWS GovCloud. После регистрации новые клиенты AWS получают 5 ГБ хранилища Amazon S3 Standard, 20 000 запросов GET и 2000 запросов PUT, а также 100 ГБ исходящего трафика (в Интернет, регионы AWS или Amazon CloudFront) каждый месяц в течение одного года. Неиспользованные за этот месяц ресурсы на следующий месяц не переносятся. Amazon S3 взимает плату за следующие типы использования. Обратите внимание на то, что приведенные расчеты не учитывают возможность применения уровня бесплатного пользования AWS.

С 15 июля 2025 года новые клиенты AWS будут получать кредиты уровня бесплатного пользования AWS на сумму до 200 долл. США, которые можно использовать для оплаты соответствующих сервисов AWS, включая Amazon S3. При регистрации аккаунта вы можете выбрать между бесплатным и платным планом. Бесплатный план будет доступен в течение шести месяцев после создания аккаунта. Если вы перейдете на платный план, оставшийся кредитный баланс уровня бесплатного пользования будет автоматически применен к вашим счетам AWS. Все кредиты уровня бесплатного пользования необходимо использовать в течение 12 месяцев с даты создания аккаунта. Подробнее о программе Уровня бесплатного пользования AWS см. на веб-сайте Уровня бесплатного пользования AWS и в документации Уровня бесплатного пользования AWS.

Таблицы Amazon S3 предоставляют хранилище S3, которое специально оптимизировано для аналитических рабочих нагрузок, что повышает производительность запросов и снижает затраты. Вы можете получить доступ к расширенным аналитическим возможностям Iceberg и выполнять запросы с помощью знакомых сервисов AWS, таких как Amazon Athena, Redshift и EMR, за счет предварительной интеграции Таблиц S3 с Хранилищем в озере данных Amazon SageMaker. Кроме того, для чтения и записи данных в Таблицы S3 можно использовать сторонние приложения, совместимые с Iceberg REST, такие как Apache Spark, Apache Flink, Trino, DuckDB и PyIceberg. Можно использовать корзины таблиц для хранения табличных данных, таких как ежедневные транзакции покупок, потоковые данные датчиков или показы рекламы, в виде таблицы Iceberg в Amazon S3, а затем взаимодействовать с этими данными, используя такие возможности аналитики, как транзакции на уровне строк, снимки таблиц с возможностью запроса и многое другое, но все это находится под управлением Amazon S3. Корзины таблиц осуществляют непрерывное обслуживание таблиц для автоматической оптимизации эффективности запросов с течением времени даже в условиях масштабирования и развития озера данных.

Таблицы S3 следует использовать для эффективного и экономичного способа хранения табличных данных в Amazon S3. Таблицы S3 позволяют организовать структурированные данные в таблицы, а затем запрашивать их с помощью стандартных инструкций SQL практически без настройки. Таблицы S3 обладают такими же характеристиками надежности, доступности, масштабируемости и производительности, как и сервис S3, и автоматически оптимизируют хранилище для максимальной производительности запросов и минимизации затрат. Благодаря классу хранилища Intelligent-Tiering алгоритмы Таблиц Amazon S3 автоматически оптимизирует затраты на основе шаблонов доступа без влияния на производительность и без дополнительной операционной нагрузки.

S3 представляют собой специальное хранилище S3 для хранения структурированных данных в формате Apache Iceberg. Используя бакет таблиц, вы можете создавать таблицы как первоклассные ресурсы непосредственно в S3. Эти таблицы можно защитить с помощью разрешений на уровне таблиц, заданных в политиках на основе удостоверений или ресурсов. Они доступны для приложений и инструментов, поддерживающих стандарт Apache Iceberg. Когда вы создаете таблицу в бакете таблиц, S3 сохраняет метаданные, необходимые для запроса этих данных приложениями. Сегменты таблиц включают адрес каталога Iceberg REST Catalog, который любые совместимые с Iceberg движки запросов могут использовать для обнаружения, доступа и обновления метаданных Iceberg для таблиц в бакете. Это позволяет нескольким клиентам безопасно считывать и записывать данные в ваши таблицы. Со временем S3 автоматически оптимизирует базовые данные, перезаписывая или «сжимая» ваши объекты. Сжатие оптимизирует данные в S3, повышая производительность запросов. Кроме того, функции истечения срока действия снимка и удаления файлов без ссылок позволяют оптимизировать затраты на хранение по мере старения данных в таблицах. Более подробную информацию можно найти в руководстве пользователя.

Начать работу с Таблицами S3 можно всего за несколько простых шагов без необходимости настраивать инфраструктуру за пределами Amazon S3. Сначала создайте бакет таблиц в консоли S3. При создании первого бакета таблиц с помощью консоли интеграция с сервисами аналитики AWS происходит автоматически, что позволяет S3 автоматически заполнять все бакеты и таблицы в вашем аккаунте и регионе в каталоге данных AWS Glue. После этого таблицы S3 становятся доступны движкам запросов AWS, таким как Amazon Athena, EMR и Redshift. В Athena вы можете быстро начать заполнять новые таблицы и запрашивать их. В Athena вы можете быстро начать заполнять новые таблицы и запрашивать их.

Кроме того, вы можете получить доступ к таблицам S3 с помощью адреса каталога Iceberg REST через каталог данных AWS Glue. Это позволит вам найти весь массив данных, включая все ресурсы таблиц. Можно также напрямую подключиться к адресу конкретного бакета таблиц для обнаружения всех ресурсов таблиц S3 в этом бакете. Таким образом можно использовать таблицы S3 с любым приложением или движком запросов, поддерживающим спецификацию каталога Apache Iceberg REST.

Таблицу в бакете таблиц можно создать с помощью консоли S3, API CreateTable или операции интерфейса командной строки. Чтобы создать таблицу с помощью консоли, перейдите в бакет таблиц в консоли S3 и выберите «Создать таблицу с помощью Athena». Вам будет предложено создать новое пространство имен или выбрать существующее. Выбрав пространство имен, вы перейдете в редактор запросов Athena, где сможете использовать предварительно заполненный образец инструкции SQL для создания таблицы. После выполнения запроса таблица будет создана и появится как в Athena, так и в консоли S3. Чтобы удалить таблицу, можно использовать API DeleteTable или операцию интерфейса командной строки. Кроме того, для этого можно воспользоваться движком запросов. Когда вы это сделаете, таблица больше не будет доступна движку запросов.

Таблицы S3 обеспечивают до 10 раз больше транзакций в секунду (TPS) по сравнению с хранением таблиц Iceberg в бакетах Amazon S3 общего назначения. Таблицы S3 автоматически сжимают базовые данные, постоянно оптимизируя таблицы для обеспечения максимальной производительности запросов. В зависимости от рабочей нагрузки и шаблонов запросов вы также можете выбрать передовые стратегии сжатия, такие как сортировка и z-упорядочивание, чтобы дополнительно повысить эффективность таблиц. Уплотнение сортировки упорядочивает данные на основе указанных столбцов для повышения производительности запросов с фильтрацией, тогда как z-упорядочивание оптимизирует организацию данных сразу по нескольким измерениям, что особенно эффективно при одновременном выполнении запросов по нескольким столбцам.

Используя бакеты таблиц, вы можете применять политики ресурсов ко всему бакету или к отдельным таблицам. Политики для бакетов таблиц можно применять с помощью API PutTablePolicy и PutTableBucketPolicy. Политики на уровне таблиц позволяют управлять разрешениями на доступ к таблицам в бакетах на основе логической таблицы, с которой они связаны, без необходимости знать физическое местоположение отдельных файлов данных. Таблицы S3 поддерживают теги для контроля доступа на основе атрибутов (ABAC), что позволяет масштабировать разрешения на доступ и предоставлять доступ к таблицам на основе их тегов в политиках IAM, организаций AWS и ресурсов таблиц S3. Это упрощает управление доступом, уменьшая необходимость в частом обновлении политик по мере роста озера данных. Кроме того, к бакетам таблиц всегда применяется блокирование публичного доступа S3.

Бакеты таблиц поддерживают формат Apache Iceberg с данными Parquet.

Бакеты таблиц обеспечивают три операции обслуживания: сжатие, управление снимками и удаление неиспользуемых файлов. Сжатие периодически объединяет небольшие объекты в меньшее количество больших объектов для повышения производительности запросов.

Вы также можете использовать расширенные стратегии оптимизации, такие как сортировка и z-упорядочивание, чтобы дополнительно повысить производительность с учетом шаблонов ваших запросов.

Да, таблицы S3 поддерживают AWS CloudTrail. Данные и события управления CloudTrail можно настроить для бакетов таблиц так же, как и в случае с бакетом S3 общего назначения. Журналы CloudTrail для бакета таблиц содержат информацию о запросах на уровне таблиц и на уровне данных, а также об операциях автоматического обслуживания таблиц, выполняемых сервисом «Таблицы S3».

Используя Таблицы S3, вы отдельно платите за хранение, запросы и мониторинг каждого объекта, хранящегося в бакетах таблиц. Кроме того, дополнительная плата взимается за обслуживание таблицы и репликацию. Подробные сведения о ценах см. на странице цен на S3.

Сжатие объединяет небольшие объекты в меньшее количество больших объектов для повышения производительности запросов Iceberg. По умолчанию сервис таблиц S3 использует стратегию сжатия binpack. Для дальнейшей оптимизации производительности можно также использовать расширенные стратегии сжатия, такие как сортировка и z-упорядочивание. Сжатые файлы записываются как самый последний снимок таблицы. Amazon S3 сжимает таблицы на основе целевого размера файла, оптимального для вашей схемы доступа к данным, или указанного вами значения. Размер целевого файла по умолчанию составляет 512 МБ. Вы можете изменить размер целевого файла с 64 до 512 МБ с помощью API PutTableMaintenanceConfiguration.

Когда истекает срок действия управления снимками, снимки таблиц удаляются в соответствии с вашей конфигурацией хранения. Управление снимками определяет количество активных снимков для ваших таблиц на основе значений MinimumSnapshots (по умолчанию 1) и MaximumSnapshotAge (по умолчанию 120 часов). По истечении срока действия снимка Amazon S3 создает маркеры удаления для файлов данных и метаданных, на которые ссылается уникальный снимок, и помечает эти файлы как неактуальные. Эти файлы удаляются по истечении количества дней, указанного свойством NoncurrentDays в вашей политике удаления неиспользуемых файлов. Вы можете изменить значения по умолчанию для снимка с помощью API PutTableMaintenanceConfiguration. Управление снимками не поддерживает значения хранения, заданные в файле Iceberg metadata.json, включая хранение на основе ветвей или тегов. Управление снимками для Таблиц S3 отключается при настройке политики хранения на основе ветвей или тегов или настройке политики хранения для файла metadata.json, длина которого превышает значения, заданные с помощью API PutTableMaintenanceConfiguration. 

Репликация таблиц S3 обеспечивает автоматическую асинхронную репликацию таблиц Apache Iceberg в регионах и аккаунтах AWS. Репликация таблиц S3 создает и поддерживает реплики таблиц, доступные только для чтения, включая все табличные данные, метаданные и историю снимков, что помогает сократить задержку при обработке запросов для географически распределенных рабочих групп. Репликация таблиц S3 автоматически создает реплики таблиц, доступные только для чтения, в целевых бакетах, заполняет их данными, исходя из последнего состояния исходной таблицы, и непрерывно отслеживает новые изменения для синхронизации реплик. В процессе репликации сохраняется порядок снимков и отношения между родительскими и дочерними объектами в истории снимков. Вы можете настроить репликацию на уровне бакета таблиц для репликации всех таблиц или на уровне отдельных таблиц для выборочной репликации.

Начать работу с векторами S3 можно за четыре простых шага без необходимости настраивать инфраструктуру за пределами Amazon S3. Во-первых, создайте бакет векторов в определенном регионе AWS с помощью API CreateVectorBucket или консоли S3. Во-вторых, чтобы организовать данные векторов в бакете, вам потребуется создать векторный индекс с помощью API CreateIndex или консоли S3. При создании векторного индекса вы указываете метрику расстояния (косинус или евклидово расстояние) и размерность (количество измерений вектора, до 4092). Для получения наиболее точных результатов выберите метрику расстояния, рекомендованную вашей моделью встраивания. В-третьих, добавьте векторные данные в векторный индекс с помощью API PutVectors. При желании к каждому вектору можно прикрепить метаданные в виде пар «ключ-значение» для фильтрации запросов. В-четвертых, выполните запрос сходства с помощью API QueryVectors, указав искомый вектор и количество возвращаемых наиболее похожих результатов.

Векторный индекс можно создать с помощью консоли S3 или API CreateIndex. При создании индекса вы указываете бакет векторов, индекс, метрику расстояния, размерность и, при необходимости, список полей метаданных, которые вы хотите исключить из фильтрации в запросах сходства. Например, если вы хотите хранить данные, связанные с векторами, исключительно для справки, вы можете указать их как поля метаданных, не подлежащие фильтрации. После создания каждому индексу присваивается уникальное название ресурса Amazon (ARN). Когда вы в последствии будете отправлять запросы на запись или извлечение данных, вы будете направлять их в векторный индекс в бакете векторов.

Вы можете добавлять векторы в векторный индекс с помощью API PutVectors. Каждый вектор состоит из ключа, который однозначно идентифицирует этот вектор в векторном индексе (например, можно программно создавать идентификаторы UUID). Чтобы максимально повысить пропускную способность записи, векторы рекомендуется вставлять большими партиями, вплоть до максимального размера запроса. Кроме того, к каждому вектору можно прикрепить метаданные (например, год, автор, жанр и местоположение) в виде пар «ключ-значение». При включении метаданных по умолчанию все поля можно использовать в качестве фильтров в запросе на сходство (если при создании векторного индекса они не были указаны как нефильтруемые метаданные). Для создания новых векторных встраиваний неструктурированных данных можно использовать API InvokeModel в Amazon Bedrock, указав идентификатор нужной модели встраивания.

Вы можете использовать API GetVectors для поиска и возврата векторов и связанных метаданных по ключу вектора.

Можно выполнить запрос сходства с помощью API QueryVectors, указав вектор, количество возвращаемых релевантных результатов (k ближайших соседних записей) и ARN индекса. При создании вектора запроса следует использовать ту же модель встраивания, которая использовалась для создания исходных векторов, хранящихся в векторном индексе. Например, если вы используете Встраивание текста Amazon Titan 2-й версии в Amazon Bedrock для создания встраиваний для документов, для преобразования вопроса в вектор рекомендуется использовать ту же модель. Кроме того, в запросе можно использовать фильтры метаданных для поиска векторов, соответствующих фильтру. При выполнении запроса сходства по умолчанию возвращаются ключи векторов. При желании вы можете включить в ответ расстояние и метаданные.

Векторы S3 предлагают высокий уровень надежности хранения и доступности векторного хранилища. Данные, записываемые в Векторы S3, хранятся в S3, которое рассчитано на надежность хранения уровня «11 девяток». Векторы S3 рассчитаны на обеспечение доступности 99,99 % с SLA по доступности на уровне 99,9 %.

Векторы S3 обеспечивают задержку выполнения запросов менее одной секунды. Решение использует гибкую пропускную способность Amazon S3 для выполнения поиска по миллионам векторов и оптимально подходит для рабочих нагрузок с нечастыми запросами.

На средний показатель полноты поиска при выполнении запросов сходства для векторных представлений могут влиять несколько факторов, включая модель встраивания, размер набора векторных данных (количество векторов и размерность), а также распределение запросов. Векторы S3 обеспечивают средний показатель полноты поиска более 90 % для большинства наборов данных. Средний показатель полноты поиска отражает качество результатов запросов: при значении 90 % ответ содержит 90 % векторов, наиболее близких к вектору запроса, из эталонного набора, хранящегося в индексе. Однако поскольку фактическая производительность может различаться в зависимости от конкретного сценария использования, мы рекомендуем проводить собственное тестирование с использованием репрезентативных данных и запросов, чтобы убедиться, что векторные индексы S3 соответствуют вашим требованиям к полноте поиска.

Чтобы просмотреть список векторов в векторном индексе, можно использовать API ListVectors, который возвращает до 1000 векторов за раз (в сопровождении индикатора, если ответ усечен). Ответ включает дату последнего изменения, ключ вектора, данные и метаданные вектора. API ListVectors также позволяет легко экспортировать данные векторов из указанного векторного индекса. Операция ListVectors строго согласована. То есть, после записи вы можете сразу получить список векторов с отраженными изменениями.

Используя векторы S3, вы платите за хранение и любые соответствующие запросы на запись и чтение (например, за вставку векторов и выполнение операций запросов с векторами в векторном индексе). Подробные сведения о ценах см. на странице цен S3.

Да. При создании базы знаний Bedrock с помощью консоли или API Bedrock вы можете настроить существующий векторный индекс S3 в качестве векторного хранилища, чтобы сэкономить на хранении векторов для сценариев RAG. Если вы хотите, чтобы сервис Bedrock создал векторный индекс и управлял им за вас, используйте рабочий процесс быстрого создания в консоли Bedrock. Кроме того, можно настроить новый векторный индекс S3 в качестве векторного хранилища для рабочих процессов RAG в единой студии Amazon SageMaker.

Да. Есть два способа использования векторов S3 с сервисом Amazon OpenSearch. Во-первых, клиенты S3 могут экспортировать все векторы из векторного индекса S3 в бессерверный OpenSearch в виде новой бессерверной коллекции, используя консоль S3 или OpenSearch. Если вы изначально используете векторы S3, вы можете выборочно использовать бессерверный OpenSearch для рабочих нагрузок, требовательных к запросам в реальном времени. Во-вторых, если вы используете управляемую версию OpenSearch, теперь вы можете выбрать векторы S3 в качестве движка для векторных данных, которые можно запрашивать с задержкой менее секунды. OpenSearch будет автоматически использовать векторы S3 в качестве базового движка для векторов, а вы сможете обновлять данные векторов и искать их с помощью API OpenSearch. Таким образом вы получаете преимущества векторов S3, не внося изменения в свои приложения.

Amazon S3 Files – это общая файловая система, обеспечивающая прямое подключение любых вычислительных ресурсов AWS к данным в Amazon S3. Он обеспечивает быстрый прямой доступ ко всем данным S3 в виде файлов с полной поддержкой семантики файловой системы и низкой задержкой, при этом данные не покидают S3. Это означает, что работающие с файлами приложения, агенты и рабочие группы теперь могут получать доступ к данным S3 и работать с ними как с файловой системой, применяя уже имеющиеся инструменты. Вам больше не потребуется дублировать данные или регулярно переносить их между объектным хранилищем и хранилищем файловой системы. Основанные на файлах средства и приложения организации теперь могут работать с данными S3 напрямую из любого вычислительного инстанса, контейнера или функции с использованием тех же инструментов, что уже применяются вашими специалистами и агентами.

Благодаря S3 Files решение Amazon S3 становится первым и единственным объектным хранилищем в облаке, предоставляющим доступ к полнофункциональной и высокопроизводительной файловой системе для ваших данных. S3 Files сочетает производительность и простоту файловой системы с масштабируемостью, надежностью и экономической эффективностью S3. Отсутствуют обособленные базы данных и сложности с синхронизацией, при этом не приходится жертвовать функциональностью или производительностью. Файловое и объектное хранилище – вместе в едином пространстве.

S3 Files следует использовать, если вашим файловым приложениям, агентам ИИ и инструментам требуется напрямую работать с данными, хранящимися в S3. S3 Files избавляет от необходимости копировать данные между системами хранения или создавать собственные интеграции. Существующие библиотеки Python, фреймворки машинного обучения, утилиты интерфейса командной строки и сценарии оболочки работают с данными S3 с помощью стандартных файловых операций без необходимости изменения кода. Бакет S3 можно разместить на нескольких вычислительных ресурсах (EC2, EKS, ECS, Lambda, Fargate и Batch) для распределенных приложений, в которых группы, агенты и рабочие нагрузки совместно работают над общими наборами данных в режиме реального времени.

Файлы S3 работают как традиционная высокопроизводительная файловая система, доступ к которой возможен из любого вычислительного ресурса на базе Linux, при этом представление файлов и папок отражает содержимое вашего бакета S3. Сервис «Файлы S3» создан с использованием Amazon EFS, которая обеспечивает интеллектуальную загрузку активного рабочего набора в высокопроизводительное хранилище. Это позволяет снизить задержки при доступе к часто используемым данным и при этом сохранить уровень расходов, пропорциональный объему активно используемых ресурсов. Когда вы считываете файлы, сервис неспешно загружает части метаданных и содержимого файлов в высокопроизводительное хранилище. Данные, которые не соответствуют заданному пороговому размеру файла, считываются непосредственно из S3 без использования хранилища файловой системы. Когда вы записываете данные, записи отправляются в надежное высокопроизводительное хранилище, а затем синхронизируются с S3 для обеспечения согласованности бакета. Данные, доступ к которым не осуществлялся в течение заданного периода (от 1 до 365 дней, по умолчанию 30 дней), автоматически удаляются из этого хранилища, поэтому вы платите только за то, чем активно пользуетесь, а достоверные данные всегда остаются в S3.

S3 Files интеллектуально размещает активно используемый набор данных в высокопроизводительном хранилище, обеспечивая задержку менее миллисекунды при доступе к часто используемым данным. Каждая файловая система обеспечивает пропускную способность записи до 5 ГиБ/с, до 250 тыс. IOPS при чтении и до 50 тыс. IOPS при записи. Максимальная пропускная способность чтения для одного клиента составляет 3 ГиБ/с, а совокупная пропускная способность чтения может достигать нескольких ТиБ/с.

При обращении к файлам, не находящимся в кэше файловой системы, системе сначала необходимо получить данные из бакета, что сопровождается задержкой порядка десятков миллисекунд. Данные, хранящиеся в файловой системе, считываются с задержкой менее миллисекунды. Операции записи выполняются в файловой системе с задержкой в пределах нескольких миллисекунд.

Файловую систему S3 можно создать с помощью консоли S3, интерфейса командной строки AWS или API S3, а затем подключить ее к инстансам EC2 с помощью стандартных команд подключения. Если вы используете дистрибутив Linux, отличный от Amazon Linux, установите amazon-efs-utils на свой инстанс, прежде чем подключать бакет.

Для кластеров EKS установите надстройку драйвера интерфейса контейнерного хранилища (CSI) efs-csi-driver, а затем используйте интерфейс командной строки Kubernetes (kubectl), чтобы подключить бакет. Для инстансов ECS добавьте файловую систему S3 с помощью определений задач в консоли ECS или API ECS, а затем подключите определение задачи к кластеру. Для функций Lambda выберите файловую систему S3 в консоли или добавьте ее в качестве файловой системы в API настройки функций. Пошаговое руководство см. в документации.

S3 Files поддерживает все классы хранилища в бакетах S3 общего назначения. Все объекты отображаются в файловой системе как файлы независимо от используемого класса хранилища S3.

При попытке открыть файл, размещенный в асинхронном классе хранилища (S3 Glacier Flexible Retrieval и S3 Glacier Deep Archive), вы получите сообщение об ошибке ввода-вывода. Чтобы получить доступ к файлу, сначала его необходимо восстановить с помощью API S3 (см. документацию).

S3 Files не поддерживает данные в Таблицах S3, Векторах S3 или бакетах каталогов.

Сервис «Файлы S3» поддерживает разрешения POSIX для файлов и каталогов. При получении доступа к файлам файловая система проверяет идентификаторы UID и GID клиента на соответствие разрешениям файла. Эти разрешения хранятся в виде метаданных объектов в бакете S3 в том же формате, что и в других файловых сервисах AWS.

Данные шифруются всегда: как при передаче, так и во время хранения. При передаче между вычислительными ресурсами и файловой системой данные шифруются с помощью протокола TLS 1.3. По умолчанию S3 шифрует все данные, хранящиеся в вашей файловой системе, с помощью ключей, управляемых S3 (SSE-S3), кроме того, вы можете указать нужный ключ KMS (SSE-KMS) при создании файловой системы.

Файловые системы S3 автоматически синхронизируются с вашим бакетом S3 для оптимизации затрат и производительности. Сначала файловая система запускается пустой, а метаданные объектов импортируются по требованию при доступе к файлам и каталогам. Например, при размещении каталога в файловой системе метаданные каталога импортируются из бакета S3. При первом доступе к каталогу и импорте связанных с ним метаданных синхронизация каталога с S3 будет продолжаться по мере внесения изменений в бакет S3. Для оптимизации производительности файловая система автоматически загружает данные для файлов размером менее 128 КБ при первом доступе к каталогу. Данные для больших файлов считываются непосредственно из S3.

Вы также можете настроить точные правила импорта данных из бакета S3 в файловую систему с помощью API PutSynchronizationConfiguration или консоли S3. Например, можно настроить правило автоматического хранения данных в файловой системе после считывания файла из определенного префикса S3.

По умолчанию файловая система автоматически экспортирует все новые файлы и изменения файлов в виде нового объекта или новой версии существующего объекта в течение нескольких минут. Если вы удалите файл, соответствующему объекту в вашем бакете будет присвоен маркер удаления как текущей версии объекта.

Файловые системы S3 поддерживают согласованность между закрытием и открытием файлов NFS, а это значит, что когда клиент закрывает файл, в будущем при открытии этого файла любым клиентом будет отображаться последняя версия содержимого файла. Все вычислительные ресурсы, выполняющие чтение и запись в одной и той же подключенной файловой системе, получают согласованные данные в режиме реального времени. Это стандартная модель непротиворечивости, на которую рассчитывает большинство файловых приложений.

В файлах S3 реализована модель непротиворечивости, в которой бакет S3 служит авторитетным источником достоверной информации. Операции API S3 поддерживают высокую согласованность чтения после записи, тогда как операции файловой системы обеспечивают согласованность между закрытием и открытием файлов, что, в конечном итоге, дает стабильную синхронизацию между этими двумя системами.

Сервис S3 Files разработан для обеспечения надежности хранения на уровне 99,999999999 % («11 девяток») для основного набора данных в вашем бакете S3. Кроме того, данные в файловой системе по умолчанию хранятся с резервированием как минимум в трех зонах доступности (AZ), что обеспечивает встроенную защиту от масштабных сбоев, включая полную потерю целого центра обработки данных.

Вы можете отслеживать файлы S3 с помощью метрик Amazon CloudWatch. CloudWatch включает метрики файловой системы, такие как использование хранилища файловой системы и количество клиентских подключений. В CloudWatch также есть метрики для мониторинга обновлений между файловой системой и бакетом, включая количество файлов, ожидающих экспорта. Кроме того, можно использовать AWS CloudTrail для регистрации событий управления в файловой системе. Например, в CloudTrail создаются записи для таких событий, как создание файловой системы или создание цели подключения. Подробнее см. в документации.

Используйте S3 Files, если данные уже хранятся в S3 и вам необходимо, чтобы файловые приложения, агенты ИИ или команды могли работать с ними напрямую с помощью стандартных файловых операций. S3 Files — оптимальный выбор, если ваша основная задача заключается в предоставлении файлового доступа к существующим данным S3 без их дублирования и без необходимости управления отдельной системой хранения. Данные остаются в S3 в качестве основного источника данных, а поверх них предоставляется доступ через файловую систему.

Используйте Amazon EFS, если вам требуется полностью управляемая оптимизированная для облака файловая система в качестве основного хранилища для таких рабочих нагрузок, как общие домашние каталоги, управление контентом, конфигурации приложений и среды разработки, в которых данные изначально создаются и преимущественно используются через файловую систему.

Используйте Amazon FSx, если у вас есть существующие файловые приложения, работающие с сетевым файловым хранилищем. FSx специально разработан для поддержки таких рабочих нагрузок и предоставляет полностью управляемые развертывания популярных файловых систем (NetApp ONTAP, Windows File Server, OpenZFS и Lustre) с привычными для вас функциями и производительностью.

По умолчанию данные объекта и метаданные объекта остаются в одной локальной зоне (включая выделенные локальные зоны), в которую вы помещаете объект. Данные управления корзинами и телеметрии, включая имена корзин, показатели емкости, журналы CloudTrail, метрики CloudWatch, управляемые клиентами ключи из Сервиса управления ключами AWS (KMS) и политики управления идентификацией и доступом (IAM), хранятся в родительском регионе AWS. При желании другие функции управления бакетами, такие как Пакетные операции S3, позволяют хранить метаданные управления с именами бакеты и объекта в родительском регионе AWS.

Точки доступа Amazon S3 упрощают управление доступом к данным для любого приложения или сервиса AWS, работающего с S3. Точки доступа S3 поддерживают бакеты S3, а также Amazon FSx для NetApp ONTAP и Amazon FSx для файловых систем OpenZFS. Создавая точки доступа с соответствующими именами и разрешениями для отдельных приложений или пользователей, можно контролировать и упрощать их доступ к данным.

Если вы используете точки доступа S3 с бакетами S3, вам больше не нужно управлять единой комплексной политикой с сотнями различных правил разрешений, которые необходимо записывать, читать, отслеживать и проверять. Вы можете создать тысячи точек доступа для одного бакета с настраиваемыми схемами доступа, используя уникальное имя хоста и политику доступа, которая применяет определенные разрешения и средства контроля сети к любому запросу через точку доступа.

Используя точки доступа S3 с FSx для NetApp ONTAP и FSx для OpenZFS, вы можете получать доступ к данным FSx с помощью API S3, как если бы данные находились в S3. Благодаря этой новой возможности данные файлов из FSx для OpenZFS будут доступны для использования в широком спектре сервисов и приложений искусственного интеллекта, машинного обучения и аналитики, работающих с S3, в то время как эти данные будут по-прежнему храниться в файловой системе FSx для OpenZFS.

С помощью точек доступа S3 вы можете получать доступ к данным файлов в Amazon FSx для NetApp ONTAP и FSx для OpenZFS, используя API S3, без необходимости переноса данных в S3. Точки доступа S3, подключенные к FSx для NetApp ONTAP и FSx для файловых систем OpenZFS, работают аналогично точкам доступа S3, подключенным к бакетам S3: они обеспечивают контролируемый политиками доступ к данным через S3, при этом данные продолжают храниться в файловых системах FSx или бакетах S3. Например, подключив точку доступа S3 к FSx для NetApp ONTAP или файловой системы OpenZFS клиенты могут использовать ее с сервисами и приложениями генеративного ИИ, машинного обучения и аналитики, поддерживающими S3, для доступа к данным FSx.

Amazon S3 использует сочетание контрольных сумм Content-MD5, алгоритмов безопасного хэширования (SHA) и циклических проверок избыточности (CRC) для проверки целостности данных. Amazon S3 проверяет эти контрольные суммы на данных в местах хранения и восстанавливает любые повреждения, используя резервную копию данных. Кроме того, новые пакеты AWS SDK автоматически вычисляют эффективные контрольные суммы на основе CRC для всех загрузок. S3 самостоятельно проверяет контрольные суммы и принимает объекты только после подтверждения сохранения целостности данных при передаче через общедоступный Интернет. Если для загрузки объекта используется версия SDK без предварительного расчета контрольных сумм, S3 вычисляет контрольную сумму всего объекта на основе CRC даже при загрузке несколькими частями. Контрольные суммы хранятся в метаданных объекта и поэтому доступны для проверки целостности данных в любое время. Вы можете выбрать один из пяти поддерживаемых алгоритмов контрольных сумм для проверки целостности данных в запросах на передачу и загрузку. В зависимости от потребностей вашего приложения можно выбрать алгоритм контрольных сумм SHA-1, SHA-512, SHA-256, CRC32, CRC32C, CRC64NVME, MD5, xxHash64, xxHash3 или xxHash128. Вы можете автоматически вычислять и проверять контрольные суммы при сохранении или извлечении данных из S3, а также получать информацию о контрольных суммах в любой момент с помощью API S3 HeadObject, API S3 GetObjectAttributes или отчета S3 Inventory. Вычисление контрольной суммы при потоковой передаче данных в S3 экономит время, потому что вы можете и проверять и передавать данные за один проход, а не в ходе двух последовательных операций. Использование контрольных сумм для проверки данных – это рекомендуемая практика обеспечения надежности данных. Такие возможности повышают производительность и сокращают затраты.

После создания бакета каталогов можно импортировать данные из того же региона AWS в класс хранилища Amazon S3 Express для одной зоны через консоль S3, используя опцию «Импорт». Импорт упрощает копирование данных в бакеты каталогов S3, позволяя выбрать префикс или бакет для импорта данных без необходимости указывать все объекты для копирования по отдельности. Пакетные операции S3 позволяют копировать объекты в выбранном префиксе или бакете общего назначения. Отслеживать ход выполнения задания на импорт можно на странице сведений о задании пакетных операций S3.

Корзины каталогов S3, в которых не было запросов в течение как минимум 3 месяцев, перейдут в неактивное состояние. В неактивном состоянии корзина каталогов временно недоступна для чтения и записи. В ней также содержатся все хранилища, метаданные объектов и метаданные корзины. Существующая плата за хранение будет применяться к неактивным корзинам. При запросе доступа к неактивной корзине она переходит в активное состояние, обычно в течение нескольких минут. В течение этого переходного периода при чтении и записи будет возвращен код ошибки 503 SlowDown.

S3 Metadata Amazon следует использовать, если вы хотите с помощью SQL выполнять запросы к информации об объектах S3, чтобы быстро находить нужные наборы данных для генеративного ИИ, аналитики и других сценариев использования. S3 Metadata поддерживает актуальность метаданных практически в режиме реального времени, благодаря чему можно использовать любой клиент с поддержкой Iceberg для выполнения SQL-запросов и поиска объектов по их метаданным. Например, с помощью SQL-запроса можно получить список объектов, соответствующих определенным условиям, например объектов, добавленных за последние 30 дней, в любых бакетах.

Сервис «Метаданные S3» предназначен для автоматического создания метаданных, содержащих дополнительную информацию об объектах, загружаемых в бакет, и обеспечения возможности запроса этих метаданных в таблице, доступной только для чтения. Таблицы метаданных хранятся в таблицах Amazon S3, разработанных на основе Apache Iceberg и обеспечивающих управляемый способ хранения и запроса табличных данных в S3. Сервис «Метаданные S3» создает и обрабатывает метаданные системного уровня (такие как размер объекта), настраиваемые метаданные (такие как теги и метаданные, определенные пользователем во время загрузки объекта), а также метаданные событий (такие как IP-адрес, отправивший запрос). По мере изменения данных в бакете метаданные S3 обновляются почти в реальном времени, отражая последние изменения. Вы можно запрашивать таблицы метаданных с помощью различных сервисов аналитики и инструментов с открытым исходным кодом AWS, совместимых с Iceberg, включая Amazon Athena, Amazon QuickSight и Apache Spark.

Чтобы начать работу с сервисом метаданных S3, достаточно нескольких щелчков мышью в консоли управления S3. Просто выберите бакет S3 общего назначения, в котором вы хотите включить метаданные S3. S3 проанализирует данные в бакете и создаст полностью управляемую таблицу Apache Iceberg, содержащую метаданные для всех ваших объектов. Через несколько минут вы можете начать запрашивать метаданные с помощью любого механизма запросов или инструмента, поддерживающего Apache Iceberg.

Таблицы метаданных S3 хранятся в бакете управляемых таблиц AWS в вашем аккаунте AWS под названием aws-s3. Ваши таблицы будут доступны только для чтения, и только S3 будет иметь разрешение на запись, обновление или удаление метаданных. 

S3 Metadata хранит метаданные в двух управляемых таблицах в вашем аккаунте: таблицах журналов и таблицах текущих запасов. 

В таблице журнала S3 Metadata представлены изменения, внесенные в бакет. По мере добавления, обновления и удаления объектов в ваших бакетах S3 общего назначения соответствующие изменения практически в режиме реального времени отражаются в таблицах журналов. Таблицы журналов полезны для понимания поведения приложений и выявления любых изменений, внесенных в наборы данных. Например, можно писать SQL-запросы к таблицам журнала, чтобы найти объекты S3, соответствующие фильтру, например объекты, добавленные за последние 30 дней, объекты, добавленные активными отправителями запросов, или объектов, метаданные которых изменялись в течение последней недели.

Таблица живой инвентаризации S3 Metadata содержит полный список всех объектов в вашем бакете. Таблицы инвентаризации в реальном времени обновляются каждый час и содержат всю известную S3 информацию о ваших объектах. Таблицы инвентаризации в реальном времени полезны для обнаружения или идентификации наборов данных в бакете на основе характеристик, созданных в метаданных объекта. Например, таблицы инвентаризации в реальном времени можно использовать для определения наборов данных для машинного обучения, для использования в упражнениях по оптимизации затрат на хранение или для обеспечения контроля управления.

При добавлении новых объектов в бакет записи в таблице журнала появятся уже через несколько минут, а в таблице инвентаризации записи обновляются каждый час. Когда вы включите сервис «Метаданные S3» для существующего бакета, S3 автоматически запустит операцию заполнения для создания метаданных для всех существующих объектов. Заполнение обычно занимает несколько минут, но может занять несколько часов, если существующие наборы данных содержат миллионы или миллиарды объектов S3.

Отчет S3 Inventory предоставляет альтернативу синхронному API Amazon S3 List, позволяющую выполнять задачи по расписанию. Можно настроить S3 Inventory для предоставления выходных данных объектов и соответствующих им метаданных корзины S3 или префикса в формате CSV, ORC или Parquet на ежедневной или еженедельной основе. С помощью S3 Inventory можно упростить и ускорить рабочие бизнес-процессы и задачи обработки больших данных. S3 Inventory можно также использовать для проверки состояния шифрования и репликации объектов на предмет соответствия требованиям бизнеса и применимых нормативных актов. Подробнее см. в руководстве пользователя по Инвентаризации Amazon S3.