Классы хранилищ

Для хранения данных в Amazon S3 доступны четыре класса хранилищ: стандартное хранилище, стандартное хранилище нечастого доступа, хранилище нечастого доступа в одной зоне доступности и Amazon Glacier. Подробнее о каждом из этих классов хранилищ см. на странице Классы хранилищ Amazon S3. Объекты можно автоматически перемещать между хранилищами разных классов на основании политик управления жизненным циклом.

Безопасность и управление доступом

По умолчанию доступ к создаваемым ресурсам Amazon S3 имеют только владельцы корзин и объектов. Сервис S3 поддерживает многочисленные механизмы управления доступом, а также шифрование данных при хранении и передаче. Amazon S3 обеспечивает защиту данных от логических и физических сбоев, а также от утраты вследствие непреднамеренных действий пользователя, ошибок приложений и инфраструктурных сбоев. При необходимости соблюдения нормативных стандартов, таких как PCI и HIPAA, функции защиты данных, встроенные в сервис Amazon S3, могут применяться в рамках общей стратегии обеспечения соответствия этим стандартам. Различные функции защиты и обеспечения надежности данных, доступные в сервисе Amazon S3, описаны ниже.

Механизмы гибкого управления доступом

Сервис Amazon S3 поддерживает несколько механизмов, которые обеспечивают гибкое управление доступом к данным и позволяют устанавливать, кто, когда и каким способом может получить такой доступ. Сервис Amazon S3 обеспечивает четыре различных механизма управления доступом: политики AWS Identity and Access Management (IAM), списки контроля доступа (ACL), политики на уровне корзин и аутентификация строки запроса. Механизм IAM позволяет организациям с большим штатом сотрудников создавать профили множества пользователей и управлять ими через один аккаунт AWS. С помощью политик IAM пользователям механизмов IAM можно предоставлять средства тонкого управления корзинами и объектами сервиса Amazon S3. Списки ACL можно использовать для выборочного добавления (предоставления) определенных разрешений в отношении отдельных объектов. Политики управления корзинами Amazon S3 могут использоваться для предоставления или отказа в доступе к некоторым или всем объектам в пределах одной корзины. С помощью возможности определения подлинности строки запроса пользователь может открывать общий доступ к объектам Amazon S3 с помощью адресов URL, действующих в течение заданного периода времени.

Консоль S3 выделяет общедоступные корзины S3, а также предупреждает пользователя, если производимые для корзины изменения в политиках и списке контроля доступа сделают эту корзину общедоступной.

Адреса VPC

Вы можете получать доступ к сервису Amazon S3 из своего виртуального частного облака Amazon (VPC) с помощью конечных точек VPC. Конечные точки VPC легко настраиваются и предоставляют возможность надежного подключения к хранилищу Amazon S3. Для этого не потребуется интернет-шлюз или инстанс трансляции сетевых адресов (NAT). При использовании конечных точек VPC передача данных между Amazon VPC и хранилищем Amazon S3 осуществляется в пределах сети Amazon, при этом ваши инстансы остаются защищенными от интернет-трафика. Использование конечных точек Amazon VPC для Amazon S3 обеспечивает несколько уровней управления безопасностью для ограничения доступа к корзинам S3. Во-первых, вы можете задать требование, чтобы запросы к корзинам Amazon S3 исходили из облака VPC с применением конечной точки. Кроме того, можно назначать разрешения для корзин, запросов, пользователей и групп при доступе через определенную конечную точку VPC.

Шифрование

Можно в безопасном режиме выгружать и загружать данные в сервис Amazon S3 через маршрутные точки, зашифрованные с применением SSL (через протокол HTTPS). Amazon S3 может автоматически шифровать хранимые данные в состоянии покоя и предоставляет вам возможность выбора варианта управлкния ключами Корзины S3 можно настроить на автоматическое шифрование объектов перед их сохранением в S3, если входящие запросы на хранение не предоставляют информацию о шифровании. Для шифрования данных перед их выгрузкой в систему Amazon S3 также можно использовать клиентскую библиотеку шифрования, например, Amazon S3 Encryption Client.

Если вы выберите шифровку хранимых данных в состоянии покоя сервисом Amazon S3 с серверным механизмом шифрования (SSE), Amazon S3 автоматически зашифрует данные при записи и дешифрует их при извлечении. При шифровании данных в состоянии покоя Amazon S3 использует симметричные ключи Advanced Encryption Standard (AES) длиной 256 бит. При использовании серверного механизма шифрования сервисом Amazon S3 возможны три варианта управления ключами шифрования.

SSE с Amazon S3 Key Management (SSE-S3)

При использовании SSE-S3 сервис Amazon S3 автоматически зашифрует данные в состоянии покоя и будет управлять вашими ключами шифрования

SSE с предоставленными клиентом ключами (SSE-C)

При использовании SSE-C сервис Amazon S3 зашифрует данные в состоянии покоя вашими собственными ключами шифрования. Для использования SSE-C необходимо просто приложить ваш собственный ключ к запросу на загрузку, и Amazon S3 зашифрует объект, используя данный ключ, и надежно сохранит зашифрованные данные в состоянии покоя. Аналогичным образом, для извлечения зашифрованного объекта необходимо предоставить ваш собственный ключ, и Amazon S3 расшифрует объект при его извлечении. Amazon S3 не хранит ваш ключ и выбрасывает его сразу после выполнения запросов.

SSE с AWS KMS (SSE-KMS)

При использовании SSE-KMS сервис Amazon S3 зашифрует данные в состоянии покоя ключами шифрования, которыми вы управляете в AWS Key Management Service (KMS). Использование AWS KMS для управления ключами предоставляет несколько преимуществ. AWS KMS применяет отдельные разрешения на использование главного ключа, обеспечивая таким образом дополнительный уровень контроля, а также защиту от несанкционированного доступа к объектам, хранимым в Amazon S3. AWS KMS предоставляет аудит, предоставляющий информацию о том, кто и когда использовал ваш ключ и к какому объекту, а также о безуспешных попытках получить доступ к данным пользователями, не имеющих прав на расшифровку данных. Кроме того, AWS KMS предоставляет клиенту дополнительные элементы управления безопасностью, для соответствия таким требованиям отрасли, как PCI-DSS, HIPAA/HITECH, и FedRAMP.

Подробнее об этом см. в теме Using Data Encryption Руководства по Amazon S3 для разработчиков.

Журналы аудита

Amazon S3 также поддерживает функцию регистрации запросов ресурсов Amazon S3 вашей организации. Пользователь может настроить корзину Amazon S3 на журналирование запросов на доступ к ней. Эти логи доступа регистрируют все запросы на доступ к корзине или объектам в ней, и могут использоваться для аудита.

Подробнее о возможностях обеспечения безопасности в Amazon S3 см. в теме Access Control Руководства по Amazon S3 для разработчиков. Общие сведения о механизмах обеспечения безопасности в AWS (в том числе в Amazon S3) приводятся в документе Amazon Web Services: обзор процессов обеспечения безопасности.

Управление версиями

Amazon S3 обеспечивает дополнительную защиту данных при помощи механизма управления версиями. Он позволяет сохранять, извлекать и восстанавливать любую версию любого объекта, сохраненного в корзине сервиса Amazon S3. Эта функция позволяет легко восстанавливать систему после непреднамеренных действий пользователей и сбоев приложений. По умолчанию на запросы извлекается последняя записанная версия. Более старые версии объекта можно извлечь, указав в запросе номер версии. Оплата за хранилище согласно установленным расценкам взимается за все сохраненные версии. Для автоматического управления жизненным циклом версий и затратами на хранение нескольких версий можно настроить правила управления жизненным циклом Amazon S3.

Удаление с использованием многофакторной аутентификации

В сервисе Amazon S3 есть дополнительная возможность повысить уровень безопасности – удаление с использованием многофакторной аутентификации (MFA). Это означает, что для удаления объектов, сохраненных в системе Amazon S3, потребуется многофакторная аутентификация. Таким образом обеспечивается защита более ранних версий объектов.

При активации этой возможности для корзины Amazon S3 изменить версию корзины или навсегда удалить какую-либо из версий объекта можно только после прохождения двух этапов аутентификации.

  • Предоставление данных, подтверждающих права доступа к аккаунту AWS
  • Ввод следующей цепочки символов: действительный серийный номер, пробел и шестизначный код с экрана принятого устройства аутентификации

Подробнее об удалении с использованием многофакторной аутентификации (MFA) в Amazon S3 »

Доступ к объектам с ограничением по времени

Amazon S3 поддерживает аутентификацию строки запроса. Это помогает создавать URL-адреса, действительные только в течение заданного периода времени. Это полезно в тех случаях, когда необходимо открыть доступ к тому или иному объекту на определенный срок, например при загрузке ПО или других приложений.

Подробнее о URL-адресах с ограничением по времени »

Автоматизированная безопасность на основе технологий машинного обучения

Amazon Macie использует технологии машинного обучения для автоматического обнаружения, классификации и обеспечения безопасности конфиденциальных данных на AWS. Amazon Macie распознает конфиденциальные данные, такие как персональная информация (PII) или интеллектуальная собственность, и предоставляет информационные панели и предупреждения, которые обеспечивают наглядное представление того, как осуществляется доступ этим данным и как они перемещаются. Amazon Macie является полностью управляемым сервисом. Он непрерывно выполняет мониторинг действий по доступу к данным для выявления отклонений от нормы и генерирует предупреждения, если обнаруживает риск несанкционированного доступа или неумышленной утечки данных.

Запросы к данным без извлечения

Amazon обладает набором инструментов, ускоряющих анализ и обработку больших объемов данных в облаке. В числе прочего они позволяют оптимизировать и интегрировать с Amazon S3 имеющиеся рабочие процессы. 

S3 Select

Amazon S3 Select был разработан с целью ускорения анализа и обработки данных внутри объекта в корзинах Amazon S3 и сокращения связанных расходов. Он предоставляет возможность извлечения подмножества данных из объекта в Amazon S3 с помощью простых SQL-выражений. Приложениям больше не нужно тратить вычислительные ресурсы на сканирование и фильтрацию данных из объекта, что потенциально может увеличить производительность запросов на 400 % и сократить их стоимость на 80 %. Для использования всех преимуществ S3 Select в приложении достаточно вместо запроса GET применить SELECT.

Amazon Athena

Amazon Athena – сервис интерактивных запросов, позволяющий анализировать данные в Amazon S3 стандартными средствами SQL. Athena – это бессерверный сервис, поэтому инфраструктура, которой нужно было бы управлять, отсутствует, а плата начисляется только за выполняемые запросы.

Сервис Athena очень прост в использовании. Просто укажите данные в Amazon S3, задайте схему и выполняйте запросы, используя стандартные SQL-выражения. Большинство результатов готово в течение секунд. Для подготовки данных к анализу больше не нужно использовать сложные задания ETL. Таким образом, любой специалист со знанием SQL может быстро проанализировать большой объем данных.

Amazon Redshift Spectrum

Amazon Redshift также включает в себя Redshift Spectrum, позволяющий отправлять SQL-запросы непосредственно к эксабайтам неструктурированных данных в Amazon S3. Загрузка или преобразование данных не требуется. Можно использовать открытые форматы данных, включая Avro, CSV, Grok, ORC, Parquet, RCFile, RegexSerDe, SequenceFile, TextFile и TSV. Redshift Spectrum автоматически масштабирует вычислительные ресурсы, необходимые для выполнения запроса к извлекаемым данным, поэтому запросы к Amazon S3 выполняются быстро при любых объемах данных.

Управление хранилищем

Amazon S3 упрощает управление данными, предоставляя проверенную аналитическую информацию о шаблонах использования данных и инструменты управления хранилищем с помощью политик управления. Все эти функциональные возможности управления легко администрировать с помощью интерфейса API Amazon S3 или Консоли управления AWS. Различные функции управления данными, предлагаемые сервисом Amazon S3, подробно описаны ниже.

S3 Object Tagging

Amazon S3 Object Tagging позволяет управлять доступом к объектам Amazon S3 и контролировать его. Теги объектов S3 – это пары «ключ-значение», назначаемые объектам S3. Эти пары можно создавать, обновлять и удалять в любое время в течение жизненного цикла объекта. Они позволяют создавать политики Identity and Access Management (IAM), настраивать политики жизненных циклов S3 и настраивать метрики хранилища. С помощью тегов объектного уровня также можно управлять транзакциями между классами хранения и автоматически удалять объекты с истекшим сроком существования.

S3 Inventory

Рабочие бизнес-процессы и задачи по обработке больших данных можно упростить и ускорить с помощью возможности S3 Inventory, которая является альтернативой синхронному интерфейсу API Amazon S3 LIST и позволяет выполнять задачи по расписанию. S3 Inventory ежедневно или еженедельно создает файл в формате CSV (значения, разделенные запятыми) или ORC (оптимизированный формат столбцов), включающий все объекты корзины S3 или префикса, а также соответствующие метаданные. S3 Inventory также упрощает проведение аудита и создание отчетов о статусе шифрования объектов. Это может быть полезно для решения бизнес-задач и обеспечения соответствия требованиям, в том числе нормативным.

Storage Class Analysis

Возможность Storage Class Analysis позволяет следить за частотой обращения к объектам в корзине S3 и переносить редко запрашиваемые объекты в более экономичные классы хранилища. Storage Class Analysis выявляет редко запрашиваемые объекты хранилища посредством мониторинга шаблонов использования. Это позволяет выбрать объекты для переноса из стандартного хранилища в стандартное хранилище нечастого доступа, хранилище нечастого доступа в одной зоне доступности или хранилище Amazon Glacier. Политика Storage Class Analysis может следить за всей корзиной, за объектами с определенным префиксом или с определенным тегом. Когда Storage Class Analysis определит кандидата на перенос в стандартное хранилище нечастого доступа, можно воспользоваться полученными результатами, чтобы создать новую политику управления жизненным циклом S3. Эта возможность также представляет ежедневный подробный аналитический отчет об использовании хранилища на уровне корзины, префикса или тега. Такие отчеты можно экспортировать в корзину S3.

Метрики Amazon CloudWatch для Amazon S3

Интеграция Amazon S3 с Amazon CloudWatch повышает удобство пользования за счет возможностей встроенного мониторинга и получения предупреждений по целому ряду метрик. Поддерживается ведение метрик CloudWatch с интервалом в 1 минуту, установка предупреждений CloudWatch и отображение операций и производительности хранилища Amazon S3 на панели управления CloudWatch в режиме реального времени. Такая интеграция позволяет быстро идентифицировать и устранять проблемы в работе, что особенно важно для мобильных и интернет-приложений, сильно зависящих от облачных хранилищ. Ежеминутные метрики доступны на уровне корзины S3. Поддерживается также установка фильтров для метрик, собранных по общему префиксу или тегу объекта, что позволяет связывать конкретные фильтры метрик с конкретными приложениями, рабочими процессами и внутренними подразделениями.

Использование AWS CloudTrail для мониторинга событий управления и событий, связанных с данными, в Amazon S3

AWS CloudTrail позволяет следить за активностью API для объектов S3 на уровне корзины (Management Events) и объектов (Data Events). Data Events включают операции чтения (GET, HEAD, Get Object ACL и др.) и записи (PUT, POST и др.) Подробные отслеживания могут быть полезны для решения вопросов безопасности, аудита, управления и соответствия требованиям. Подробнее о Data Events в S3 см. на странице AWS CloudTrail.

Управление жизненным циклом данных в Amazon S3

Amazon S3 может автоматически назначать и изменять стоимость и характеристики производительности по мере изменения данных. Сервис дает возможность автоматизировать стандартные задачи управления жизненным циклом данных, включая выделение ресурсов, автоматическую миграцию на более экономичный уровень хранилища, осуществление политик соответствия требованиям и плановое удаление данных в определенные сроки.

Сервис Amazon S3 автоматически следит за процессом устаревания данных и незаметно для пользователя переносит данные на новое оборудование по мере выхода текущего оборудования из строя или по истечении срока его службы. Такой механизм позволяет исключить необходимость в выполнении дорогостоящей, длительной и достаточно рискованной замены оборудования. Политики управления жизненным циклом можно использовать для автоматической миграции данных Amazon S3 в хранилища более экономичных классов по мере устаревания. Можно задать правила автоматической миграции объектов Amazon S3 в стандартное хранилище, стандартное хранилище нечастого доступа, хранилище нечастого доступа в одной зоне доступности или хранилище Amazon Glacier на основе периода хранения данных. Политики управления жизненным циклом настраиваются на уровне корзины, префиксов и тегов объектов, что позволяет подобрать оптимальную степень детализации для каждого примера использования.

Amazon S3 предоставляет возможность выполнять повторяющиеся операции удаления и удаление больших объемов данных по завершении жизненного цикла программными средствами. При повторяющемся удалении можно создавать правила, описывающие удаление наборов объектов по завершении определенного периода времени. Эти правила можно применять к объектам, которые хранятся в стандартном хранилище, стандартном хранилище нечастого доступа, хранилище нечастого доступа в одной зоне доступности, а также к объектам, архивированным в Amazon Glacier.

Можно дополнительно определять правила хранения на протяжении жизненного цикла для различных версий объектов в Amazon S3, сокращая расходы на хранение данных. Например, можно создавать правила автоматического и корректного удаления устаревших версий объектов, когда они уже больше не нужны; это позволит сэкономить деньги и повысить производительность. Кроме того, можно создавать правила для автоматического переноса старых версий объектов в стандартное хранилище нечастого доступа, хранилище нечастого доступа в одной зоне доступности или хранилище Amazon Glacier для еще большего снижения затрат на хранение.

Межрегиональная репликация

Возможность межрегиональной репликации (CRR) упрощает репликацию новых объектов в любой другой регион AWS для снижения задержек, аварийного восстановления, обеспечения соответствия требованиям и ряда других примеров использования. При использовании CRR все загружаемые в исходную корзину объекты реплицируются в целевую корзину в другом регионе AWS по выбору клиента. При репликации также копируются метаданные, списки контроля доступа и теги объектов. После настройки межрегиональной репликации для исходной корзины все изменения в данных, метаданных, списках контроля доступа и тегах для объекта инициируют новую операцию репликации в целевую корзину.

Межрегиональная репликация настраивается на уровне корзины. Для включения CRR необходимо указать целевую корзину в другом регионе AWS. В зависимости от конкретных потребностей можно выбрать в качестве целевого региона любой коммерческий регион AWS, а в качестве реплицированного хранилища – хранилище S3 любого класса. Настроить межрегиональную репликацию можно между разными аккаунтами, при этом источник и получатель могут иметь совершенно разных владельцев. Для настройки можно использовать Консоль управления AWS, API REST, интерфейс командной строки AWS или SDK AWS. Для работы CRR в исходной и в целевой корзине необходимо включить управление версиями.

Подробнее о межрегиональной репликации »

Мониторинг и управление затратами

Сервис Amazon S3 предлагает несколько возможностей контроля и управления расходами. Через консоль управления AWS или интерфейсы API сервиса Amazon S3 можно применять теги к корзинам Amazon S3, таким образом распределяя расходы в рамках нескольких подразделений бизнеса, в том числе центров затрат, имен приложений или владельцев. После этого в отчетах сервиса AWS о распределении расходов можно будет получить наглядную сводку о расходах за пользование и хранилище, отсортированную по установленным тегам корзины. Подробная информация о распределении расходов и размещении тегов доступна в разделе Выставление счетов для аккаунта AWS. Подробная информация о размещении тегов на корзинах Amazon S3 приводится в теме Bucket Tagging руководства Amazon S3 Developer Guide.

Сервис Amazon CloudWatch можно использовать для получения предупреждений об оплате. Это помогает осуществлять мониторинг предстоящих расходов на Amazon S3. Для получения автоматических предупреждений по электронной почте о достижении установленного порога оценочной суммы расходов можно настроить оповещение. Дополнительную информацию о функции предупреждения о выставлении счета см. на странице с описанием оповещений о предъявлении счетов или в теме Мониторинг прогнозируемых расходов руководства разработчика Amazon CloudWatch Amazon CloudWatch Developer Guide.

Оповещения о событиях

Amazon S3 может посылать оповещения, когда с объектами, загруженными или хранимыми в Amazon S3, произошли изменения. Оповещения могут быть отправлены через службы Amazon SNS или Amazon SQS, а также могут доставляться напрямую в сервис AWS Lambda для запуска его функций.

Оповещения о событиях в сервисе Amazon S3 позволяют запускать рабочие процессы, отправлять предупреждения или выполнять другие действия, когда хранимые в корзине S3 объекты подвергаются изменениям. Оповещения о событиях Amazon S3 можно использовать для настройки триггеров, запускающих выполнение определенных действий, например перекодирование мультимедийных файлов по завершении загрузки, обработку файлов данных по мере их поступления или синхронизацию объектов Amazon S3 с другими хранилищами данных. Кроме того, можно настроить оповещения о событиях на основе префиксов и суффиксов имени объекта. Например, можно получать оповещения об объектах, имя которых начинается с «images/». Также служба оповещений может быть использована для синхронизации вторичного индекса объектов Amazon S3.

Оповещения о событиях Amazon S3 настраиваются на уровне корзины с помощью консоли Amazon S3, API REST или AWS SDK.

Подробная информация приводится в теме Configuring Notifications for Amazon S3 Events Руководства по Amazon S3 для разработчиков.

Передача больших объемов данных

Amazon предлагает набор инструментов миграции для ускорения переноса данных в облако. Они предусматривают разные способы оптимизации или замены сети, а также позволяют интегрировать существующие рабочие потоки с Amazon S3.

S3 Transfer Acceleration

Сервис Amazon S3 Transfer Acceleration предназначен для увеличения скорости передачи данных в корзины Amazon S3 до максимальных значений при передаче данных на большие расстояния. Он работает по принципу передачи трафика HTTP и HTTPS через высокооптимизированный сетевой мост, соединяющий ближайшее к вашим клиентам периферийное местоположение AWS с вашей корзиной Amazon S3. Управлять серверами шлюзов, открывать брандмауэры, интегрировать специальные порты или клиентов не требуется, авансовые платежи отсутствуют. Достаточно изменить адрес Amazon S3, используемый приложением для передачи данных, и ускорение будет применено автоматически. Используйте Amazon S3 Transfer Acceleration в следующих случаях.

  • Если требуется быстрее выполнять загрузку от клиентов, расположенных далеко от вашей корзины, например в другой стране или на другом континенте.
  • Если клиенты находятся за пределами ваших собственных ЦОД и используют для доступа к Amazon S3 публичный Интернет. Для клиентов, находящихся в пределах собственных ЦОД, рекомендуется рассмотреть вариант использования AWS Direct Connect.

Подробнее об S3 Transfer Acceleration »

AWS Snowball, Snowball Edge и Snowmobile

Сервисы миграции данных AWS предлагают защищенные устройства для переноса в Amazon S3 больших объемов данных, от петабайтов до эксабайтов. AWS Snowball, AWS Snowball Edge и AWS Snowmobile решают проблемы переноса больших объемов данных, такие как высокие тарифы на передачу данных по сети, слишком продолжительный перенос и недостаточный уровень безопасности. Передача данных посредством этих устройств выполняется просто, быстро, безопасно и приблизительно в пять раз дешевле, чем при использовании скоростного Интернета.

Подробнее о сервисах семейства AWS Snow »

AWS Storage Gateway

Локальные данные и системы хранения можно без труда подключить к Amazon S3 с помощью сервиса AWS Storage Gateway для создания гибридного облачного хранилища. В результате любые системы, ПО, процессы и данные могут быть отправлены в облако для архивации, миграции, многоуровневого хранения и полного переноса в облако без остановки или перенастройки рабочих процессов.

Дополнительные сведения об AWS Storage Gateway »

Интеграция со сторонними партнерами

Ряд партнеров ISV уже интегрировали свои системы с Amazon S3 для упрощения передачи и чтения данных. Список утвержденных партнеров AWS приведен на странице Решения партнеров AWS.

Надлежащее использование и ограничения

Использование данного сервиса регламентируется пользовательским соглашением об использовании Amazon Web Services.

Подробнее о ценах на Amazon S3

Перейти на страницу цен
Готовы приступить?
Начать работу с Amazon S3
Есть вопросы?
Свяжитесь с нами