Amazon S3 предлагает различные инструменты, которые позволяют организовать и контролировать для поддержки определенных сценариев использования, сокращения расходов, обеспечения безопасности и соблюдения законодательных требований. Данные хранятся как объекты в ресурсах, которые называют корзинами, при этом размер одного объекта может составлять до 5 ТБ. Хранилище S3 позволяет добавлять теги метаданных в объекты, перемещать и сохранять данные в классах хранилища S3, настраивать и применять элементы управления доступом к данных, защищать данные от несанкционированного использования, применять аналитику больших данных и отслеживать данные на уровне объекта и корзины.  

Управление хранилищем и его мониторинг

Плоская неиерархическая структура Amazon S3 и различные возможности управления помогают клиентам любого уровня и из любых отраслей организовать данные выгодным для бизнеса и сотрудников образом. Все объекты хранятся в корзинах S3, и их можно организовать с помощью общих имен, которые называют префиксами. Кроме того, в каждый объект можно добавить до 10 пар «ключ-значение», которые называют тегами объектов S3. Эти пары можно создавать, обновлять и удалять в любое время в течение жизненного цикла объекта. Для отслеживания объектов и связанных с ними тегов, корзин и префиксов, можно использовать отчет S3 Inventory, в котором указываются объекты, хранимые в корзине S3 или имеющие определенный префикс, а также соответствующие метаданные и статус шифрования. Сервис S3 Inventory можно настроить для ежедневного или еженедельного создания отчетов.

Управление хранилищем

С помощью имен корзин, префиксов, тегов объектов S3 и сервиса S3 Inventory можно классифицировать данные, создавать отчеты и настраивать другие возможности S3. Сервис S3 Batch Operations упрощает эти задачи, независимо от количества объектов, и позволяет управлять данными в Amazon S3 в любом масштабе. Используя S3 Batch Operations, можно копировать объекты между корзинами, заменять наборы тегов объектов, изменять элементы управления доступом и восстанавливать архивные объекты из Amazon S3 Glacier с помощью одного запроса к API S3 или нескольких щелчков мыши в Консоли управления Amazon S3. С помощью S3 Batch Operations также можно применять функции AWS Lambda к объектам для выполнения настраиваемой бизнес-логики, например для обработки данных или перекодировки изображений. Для начала работы создайте список целевых объектов, используя отчет S3 Inventory, или укажите собственный список, а затем выберите требуемую операцию в меню. После выполнения запроса S3 Batch Operation вы получите оповещение и отчет по всем изменениям. (Зарегистрируйтесь для использования ознакомительной версии.)

Amazon S3 также поддерживает возможности для контроля версий данных, предотвращения случайного удаления и репликации данных в другие регионы AWS. С помощью S3 Versioning можно легко сохранять, извлекать и восстанавливать объекты, хранимые в Amazon S3, что позволяет восстанавливать систему после непреднамеренных действий пользователей и сбоев приложений. Для предотвращения случайного удаления включите удалении с использованием многофакторной аутентификации (MFA) для корзины S3. Если попытаться удалить объект из корзины с включенным удалением с использованием MFA, потребуются два этапа аутентификации: данные для доступа к аккаунту AWS и последовательность из действительного серийного номера, пробела и шестизначного кода с экрана принятого устройства аутентификации, такого как аппаратный ключ или ключ безопасности U2F. Возможность межрегиональной репликации (CRR) в S3 упрощает репликацию объектов (и связанных метаданных и тегов объектов) в другие регионы AWS для снижения задержек, аварийного восстановления, обеспечения соответствия требованиям и ряда других примеров использования. Межрегиональная репликация в S3 связана с исходной корзиной S3 и реплицирует объекты в целевую корзину в другом регионе AWS.

Вы также можете применить политики «однократная запись, многократное чтение» (WORM) с помощью S3 Object Lock. Возможность управления S3 блокирует удаление версий объектов в течение периода хранения, установленного клиентом. Эта возможность позволяет применять политики хранения в качестве дополнительного уровня защиты данных либо для выполнения нормативных требований. Рабочие нагрузки можно переносить из существующих систем WORM в Amazon S3, а S3 Object Lock можно настроить на уровне объектов или корзин для предотвращения удаления версий объектов до заданной даты, которую вы можете определить самостоятельно или в соответствии с нормативными требованиями. Объекты с блокировкой S3 Object Lock сохраняют защиту WORM даже после перемещения в другие классы хранилища с политикой жизненного цикла S3. Для отслеживания объектов с блокировкой S3 Object Lock можно использовать отчет S3 Inventory, содержащий сведения о статусе WORM объектов. S3 Object Lock можно настроить в одном из двух режимов. При использовании в режиме Governance аккаунты AWS с определенными разрешениями IAM могут снимать защиту S3 Object Lock с объектов. Если вам требуется большая надежность по неизменности для выполнения законодательных требований, можно использовать режим Compliance. В режиме Compliance защиту не может снять ни один пользователь, в том числе аккаунт root.

Мониторинг хранилища

В дополнение к этим возможностям управления, можно использовать функции S3 и другие сервисы AWS для мониторинга и контроля использования ресурсов S3. К корзинам S3 можно применять теги, распределяя расходы в рамках нескольких подразделений бизнеса (таких как центры затрат, имена приложения или владельцы), и затем использовать отчеты о распределении расходов AWS для просмотра сведений об использовании и расходах, сгруппированные по тегам корзины. Можно также использовать Amazon CloudWatch для отслеживания работоспособности ресурсов AWS и настройки предупреждений об оплате, которые отправляются, если предполагаемые расходы достигают предела, заданного пользователем. Другой сервис мониторинга AWS, AWS CloudTrail, отслеживает действия на уровне объекта и корзины, а также предоставляет соответствующие отчеты. Оповещения о событиях S3 можно настроить для инициации рабочих процессов, предупреждений и вызова AWS Lambda при внесении определенных изменений в ресурсы S3. Оповещения о событиях S3 можно использовать для автоматической перекодировки мультимедийных файлов после завершения загрузки в Amazon S3, обработки файлов данных по мере их поступления или синхронизация объектов с другими хранилищами данных.

Классы хранилищ

Amazon S3 позволяет хранить данные в хранилищах S3 различного класса: S3 Standard, S3 Intelligent-Tiering, S3 Standard-Infrequent Access (S3 Standard-IA), S3 One Zone-Infrequent Access (S3 One Zone-IA), Amazon S3 Glacier (S3 Glacier), and Amazon S3 Glacier Deep Archive (S3 Glacier Deep Archive) (ожидается в ближайшее время).

Каждый класс хранилища S3 поддерживает определенные уровни доступа к данным с соответствующей стоимостью. Это значит, что критические важные производственные данные можно хранить в S3 Standard для частого доступа, нечасто используемые данные – в S3 Standard-IA или S3 One Zone-IA для сокращения расходов и архивировать данные с минимальными расходами в архивных классах хранилища – S3 Glacier и S3 Glacier Deep Archive. Можно использовать анализ классов хранилищ S3 для мониторинга схем доступа к объектам, чтобы выявить данные, которые следует перенести в менее затратные классы хранилища. Затем эти сведения можно использовать для настройки политики жизненного цикла S3, которая регулирует перенос данных. Политики жизненного цикла S3 также можно применять для принудительного истечения срока действия объектов после окончания их жизненного цикла. Данные с меняющимися или неизвестными моделями доступа можно хранить в системе S3 Intelligent-Tiering, которая автоматически перемещает данные на основании меняющихся моделей доступа между уровнем частого доступа и более экономичным уровнем нечастого доступа для сокращения расходов.

Управление доступом и безопасность

Управление доступом

Для защиты данных в Amazon S3 по умолчанию пользователям предоставляется только доступ к ресурсам S3, которые создали они. Доступ другим пользователям можно предоставить с помощью одного или нескольких из следующих возможностей управления доступом: AWS Identity and Access Management (IAM) для создания пользователей и управления правами доступа, списки управления доступом (ACL) для предоставления доступа к отдельным объектам авторизованным пользователям, политики корзины для настройки разрешений для всех объектов в одной корзине S3 и аутентификация строки запроса для предоставления временного доступа другим пользователям с помощью краткосрочных URL-адресов. Amazon S3 также поддерживает журналы аудита, которые содержат запросы к ресурсам S3 для обеспечения полной визуализации действий пользователей и данных, которые они запрашивают.

Безопасность

Amazon S3 предоставляет гибкие возможности обеспечения безопасности для предотвращения доступа неавторизованных пользователей к данным. Конечные точки VPC используются для подключения к ресурсам S3 из Amazon Virtual Private Cloud (Amazon VPC). Amazon S3 поддерживает шифрование на стороне сервера (с тремя ключевыми вариантами управления) и на стороне клиента для передачи данных. Используйте S3 Inventory для проверки статуса шифрования объектов S3 (подробнее о S3 Inventory см. в разделе об управлении хранилищем).

S3 Block Public Access
– это новый набор механизмов контроля безопасности, который позволяет запретить публичный доступ к корзинам и объектам S3. Достаточно нескольких нажатий клавиш в Консоли управления Amazon S3, чтобы применить параметры S3 Block Public Access ко всем корзинам аккаунта AWS или только к некоторым корзинам S3. После того как параметры применены к аккаунту AWS, любые существующие или новые корзины и объекты, связанные с этим аккаунтом, будут наследовать параметры, запрещающие публичный доступ. Параметры Amazon S3 Block Public Access переопределяют другие разрешения S3. Благодаря этому администратору аккаунта легко обеспечить применение политики «Запрет публичного доступа» независимо от способа добавления объекта или создания корзины или существующих разрешений доступа. Механизмы контроля S3 Block Public Access поддерживают аудит, что предоставляет дополнительный уровень контроля, и используют проверки разрешений корзины AWS Trusted Advisor, журналы AWS CloudTrail и предупреждения Amazon CloudWatch.

Клиенты также могут использовать сервис Amazon Macie для автоматического обнаружения и защиты конфиденциальных данных, хранимых в Amazon S3. Сервис применяет машинное обучение для распознавания конфиденциальных данных, таких как персональная информация (PII) или интеллектуальная собственность, и предоставляет информационные панели и предупреждения, которые обеспечивают наглядное представление того, как осуществляется доступ этим данным и как они перемещаются. Amazon Macie также непрерывно отслеживает модели доступа к данным для выявления отклонений от нормы и генерирует подробные предупреждения, если обнаруживает риск несанкционированного доступа или неумышленной утечки данных.

Запросы к данным без извлечения

Amazon S3 предоставляет встроенную возможность и дополнительные сервисы, которые запрашивают данные без необходимости в копировании и загрузке на отдельную аналитическую платформу или в хранилище данных. Это значит, что аналитику больших данных можно проводить непосредственно на данных в Amazon S3. S3 Select – это компонент S3, созданный для повышения производительности запросов на 400% и сокращения расходов на запросы на 80 %. Он извлекает подмножество метаданных объекта (с помощью простых выражений SQL) вместо всего объекта, размер которого может составлять до 5 ТБ.

Amazon S3 также совместим с аналитическими сервисами AWS Amazon Athena и Amazon Redshift Spectrum. Amazon Athena запрашивает данные из Amazon S3 без извлечения и загрузки в отдельный сервис или платформу. Он использует стандартные выражения SQL для анализа данных, предоставления результатов за считаные секунды, а также часто применяется для специализированного обнаружения данных. Amazon Redshift Spectrum также выполняет SQL-запросы напрямую к данным в Amazon S3 и больше подходит для сложных запросов и крупных наборов данных (размером до нескольких экзабайт). Так как Amazon Athena и Amazon Redshift используют общие форматы и каталог данных, их можно использовать для одинаковых наборов данных в Amazon S3.

Передача больших объемов данных

В AWS доступен набор сервисов по миграции данных, который упрощает, ускоряет и защищает перенос данных в облако AWS. Сервис S3 Transfer Acceleration предназначен для увеличения скорости передачи данных в корзины S3 до максимальных значений при передаче данных на большие расстояния. Для передачи очень больших объемов данных рекомендуется использовать сервисы AWS Snowball, AWS Snowball Edge и AWS Snowmobile, позволяющие передавать петабайты и экзабайты данных в облако AWS по стоимости в пять раз ниже тарифов высокоскоростного Интернета. Эти сервисы AWS Snow используют защищенные физические устройства для передачи данных по дорогам и устраняет проблемы миграции, связанные с высокими затратами на использование сети, продолжительной передачей данных и вопросами безопасности.

Клиенты, которым требуется сохранить локальные приложения и реализовать архитектуру облачного хранилища, могут использовать AWS Storage Gateway (гибридный облачный сервис хранилища) для удобного подключения локальных сред к Amazon S3. Перенос данных между локальным хранилищем и AWS (в том числе Amazon S3) можно автоматизировать с помощью инструмента AWS DataSync, который позволяет перемещать данные в 10 раз быстрее, чем инструменты с открытым исходным кодом. Если требуется напрямую перемещать файлы в Amazon S3 и обратно с помощью протокола SFTP, следует использовать AWS Transfer for SFTP – полностью управляемый сервис, обеспечивающий безопасный обмен файлами с третьими лицами.

Вместе со сторонними поставщиками из сети AWS Partner Network (APN) клиенты также могут развертывать гибридные архитектуры хранилищ, интегрировать Amazon S3 в существующие приложения и рабочие процессы и переносить данные из облака AWS и в него.

Узнайте больше в разделах о сервисах миграции AWS, AWS DataSync и AWS Transfer для SFTP »

Надлежащее использование и ограничения

Использование данного сервиса регламентируется пользовательским соглашением Amazon Web Services ».

Готовы начать?

Product-Page_Standard-Icons_01_Product-Features_SqInk
Подробнее о ценах на продукт

Платите только за то, чем пользуетесь. Минимальные платежи отсутствуют.

Подробнее 
Product-Page_Standard-Icons_02_Sign-Up_SqInk
Зарегистрировать бесплатный аккаунт

Получите мгновенный доступ к хранилищу AWS Free Tier и начните экспериментировать с Amazon S3. 

Регистрация 
Product-Page_Standard-Icons_03_Start-Building_SqInk
Начать разработку в консоли

Начните разработку с помощью Amazon S3 в консоли AWS.

Начало работы