Amazon S3 предлагает различные инструменты, которые позволяют организовать и контролировать для поддержки определенных сценариев использования, сокращения расходов, обеспечения безопасности и соблюдения законодательных требований. Данные хранятся как объекты в ресурсах, которые называют корзинами, при этом размер одного объекта может составлять до 5 ТБ. Хранилище S3 позволяет добавлять теги метаданных в объекты, перемещать и сохранять данные в классах хранилища S3, настраивать и применять элементы управления доступом к данным, защищать данные от несанкционированного использования, применять аналитику больших данных, отслеживать данные на уровне объекта и корзины, а также просматривать статистику использования хранилищ и тенденции активности в своей организации. Доступ к объектам можно получить через точки доступа S3 или непосредственно через имя узла контейнера.

Управление хранилищем и его мониторинг

Плоская неиерархическая структура Amazon S3 и различные возможности управления помогают клиентам любого уровня и из любых отраслей организовать данные выгодным для бизнеса и сотрудников образом. Все объекты хранятся в корзинах S3, и их можно организовать с помощью общих имен, которые называют префиксами. Кроме того, в каждый объект можно добавить до 10 пар «ключ-значение», которые называют тегами объектов S3. Эти пары можно создавать, обновлять и удалять в любое время в течение жизненного цикла объекта. Для отслеживания объектов и связанных с ними тегов, корзин и префиксов, можно использовать отчет S3 Inventory, в котором указываются объекты, хранимые в корзине S3 или имеющие определенный префикс, а также соответствующие метаданные и статус шифрования. Сервис S3 Inventory можно настроить для ежедневного или еженедельного создания отчетов.

Управление хранилищем

С помощью имен корзин, префиксов, тегов объектов S3 и сервиса S3 Inventory можно классифицировать данные, создавать отчеты и настраивать другие возможности S3. Сервис S3 Batch Operations упрощает эти задачи, независимо от количества объектов, и позволяет управлять данными в Amazon S3 в любом масштабе. Используя S3 Batch Operations, можно копировать объекты между корзинами, заменять наборы тегов объектов, изменять элементы управления доступом и восстанавливать архивные объекты из Amazon S3 Glacier с помощью одного запроса к API S3 или нескольких щелчков мыши в Консоли управления Amazon S3. С помощью S3 Batch Operations также можно применять функции AWS Lambda к объектам для выполнения настраиваемой бизнес-логики, например для обработки данных или перекодировки изображений. Для начала работы создайте список целевых объектов, используя отчет S3 Inventory, или укажите собственный список, а затем выберите требуемую операцию в меню. После выполнения запроса пакетных операций S3 вы получите оповещение и отчет по всем изменениям. Узнайте больше об S3 Batch Operations, посмотрев обучающие видео

Amazon S3 также поддерживает возможности для контроля версий данных и предотвращения случайного удаления, а также для репликации данных в пределах одного региона AWS или в другой регион AWS. С помощью управления версиями в S3 можно без труда сохранять, извлекать и восстанавливать все версии объекта, хранящегося в Amazon S3, что позволяет восстанавливать систему после непреднамеренных действий пользователей и сбоев приложений. Для предотвращения случайного удаления включите удаление с использованием Multi-Factor Authentication (MFA) для корзины S3. При попытке удалить объект из корзины с включенным удалением с использованием MFA потребуются два этапа аутентификации: данные для доступа к аккаунту AWS и последовательность из действительного серийного номера, пробела и шестизначного кода с экрана принятого устройства аутентификации, такого как аппаратный ключ или ключ безопасности U2F.

С помощью репликации в S3 можно реплицировать объекты (и связанные метаданные и теги объектов) в пределах одного или нескольких регионов назначения AWS или в другие регионы AWS для снижения задержек, обеспечения соответствия требованиям, безопасности, аварийного восстановления и ряда других примеров использования. Межрегиональную репликацию в Amazon S3 (CRR) можно настроить для репликации данных из исходной корзины S3 в одну или более целевых корзин в другом регионе AWS. Репликация в рамках региона (SRR) в Amazon S3 реплицирует объекты между корзинами в пределах одного региона AWS. Возможность контроля времени репликации в Amazon S3 (S3 RTC) закреплена в Соглашении об уровне обслуживания (SLA) и обеспечивает прозрачность данных в отношении времени репликации и соответствие требованиям к репликации данных.

Вы также можете применить политики «однократная запись, многократное чтение» (WORM) с помощью S3 Object Lock. Возможность управления S3 блокирует удаление версий объектов в течение периода хранения, установленного клиентом. Эта возможность позволяет применять политики хранения в качестве дополнительного уровня защиты данных либо для выполнения нормативных требований. Рабочие нагрузки можно переносить из существующих систем WORM в Amazon S3, а S3 Object Lock можно настроить на уровне объектов или корзин для предотвращения удаления версий объектов до заданной даты, которую вы можете определить самостоятельно или в соответствии с нормативными требованиями. Объекты с блокировкой S3 Object Lock сохраняют защиту WORM даже после перемещения в другие классы хранилища с политикой жизненного цикла S3. Для отслеживания объектов с блокировкой S3 Object Lock можно использовать отчет S3 Inventory, содержащий сведения о статусе WORM объектов. S3 Object Lock можно настроить в одном из двух режимов. При использовании в режиме Governance аккаунты AWS с определенными разрешениями IAM могут снимать защиту S3 Object Lock с объектов. Если вам требуется большая надежность по неизменности для выполнения законодательных требований, можно использовать режим Compliance. В режиме Compliance защиту не может снять ни один пользователь, в том числе аккаунт root.

Мониторинг хранилища

В дополнение к этим возможностям управления, можно использовать функции S3 и другие сервисы AWS для мониторинга и контроля использования ресурсов S3. К корзинам S3 можно применять теги, распределяя расходы в рамках нескольких подразделений бизнеса (таких как центры затрат, имена приложения или владельцы), и затем использовать отчеты о распределении расходов AWS для просмотра сведений об использовании и расходах, сгруппированные по тегам корзины. Можно также использовать Amazon CloudWatch для отслеживания работоспособности ресурсов AWS и настройки предупреждений об оплате, которые отправляются, если предполагаемые расходы достигают предела, заданного пользователем. Другой сервис мониторинга AWS, AWS CloudTrail, отслеживает действия на уровне объекта и корзины, а также предоставляет соответствующие отчеты. Оповещения о событиях S3 можно настроить для инициации рабочих процессов, предупреждений и вызова AWS Lambda при внесении определенных изменений в ресурсы S3. Оповещения о событиях S3 можно использовать для автоматической перекодировки мультимедийных файлов после завершения загрузки в Amazon S3, обработки файлов данных по мере их поступления или синхронизация объектов с другими хранилищами данных.

Статистика и аналитика хранения данных

S3 Storage Lens

С помощью функции S3 Storage Lens пользователь может получить наглядное представление об использовании объектного хранилища, тенденциях активности в масштабах организации, а также практические рекомендации по повышению рентабельности и применению передовых методов защиты данных. S3 Storage Lens – это первый инструмент для аналитической обработки данных облачного хранилища, с помощью которого можно получить единое представление об использовании и активности объектного хранилища в сотнях или даже тысячах учетных записей организации, а также детальные данные для составления аналитических оценок на уровне учетной записи, сегмента или даже префикса. В основу функции S3 положено более 14 лет опыта помощи клиентам в оптимизации хранения данных. Благодаря этому она выполняет анализ количественных показателей в масштабах всей организации и предоставляет ситуативные рекомендации относительно снижения затрат на хранение и применения передовых методов защиты данных. Чтобы узнать подробнее, перейдите на страницу со статистикой и аналитикой хранения данных.

S3 Storage Class Analysis

Amazon S3 Storage Class Analysis анализирует шаблоны доступа к хранилищам, благодаря чему вы сможете решить, когда переносить определенные данные в хранилище более подходящего класса. Эта функция Amazon S3 изучает шаблоны доступа к данным и помогает определить, когда нужно перенести хранилища, которые используются менее часто, в класс хранилища с меньшей стоимостью. Результат можно использовать для улучшения политик жизненного цикла S3. Аналитику классов хранилищ можно настроить таким образом, чтобы осуществлялся анализ всех объектов в корзине. Также можно настроить фильтры, благодаря которым объекты для анализа будут группироваться по общему префиксу, тэгу объекта или по обоим параметрам сразу. Чтобы узнать подробнее, перейдите на страницу со статистикой и аналитикой хранения данных.

Классы хранилищ

Amazon S3 позволяет хранить данные в хранилищах S3 различного класса: S3 Standard, S3 Intelligent-Tiering, S3 Standard-Infrequent Access (S3 Standard-IA), S3 One Zone-Infrequent Access (S3 One Zone-IA), Amazon S3 Glacier (S3 Glacier), Amazon S3 Glacier Deep Archive (S3 Glacier Deep Archive) и S3 Outposts.

Каждый класс хранилища S3 поддерживает определенный уровень доступа к данным по соответствующей цене или выбор географического местоположения. Это значит, что критические важные производственные данные можно хранить в S3 Standard для частого доступа, нечасто используемые данные – в S3 Standard-IA или S3 One Zone-IA для сокращения расходов и архивировать данные с минимальными расходами в архивных классах хранилища – S3 Glacier и S3 Glacier Deep Archive. Если ваши требования к размещению не могут быть удовлетворены существующими регионами AWS, вы можете использовать класс хранилища S3 Outposts для локального хранения своих данных типа S3 с помощью S3 on Outposts. Можно использовать анализ классов хранилищ S3 для мониторинга схем доступа к объектам, чтобы выявить данные, которые следует перенести в менее затратные классы хранилища. Затем эти сведения можно использовать для настройки политики жизненного цикла S3, которая регулирует перенос данных. Политики жизненного цикла S3 также можно применять для принудительного истечения срока действия объектов после окончания их жизненного цикла. Данные с изменяющимися или неизвестными шаблонами доступа можно хранить в S3 Intelligent-Tiering. Сервис автоматически перемещает данные на основе изменения шаблонов доступа между двумя уровнями доступа с низкой задержкой, оптимизированными для частого и нечастого доступа, а также при редком осуществлении доступа к набору объектов в течение длительных периодов. Вы можете активировать два уровня доступа к архивам, предназначенные для асинхронного доступа, которые оптимизированы для доступа к архивам.

Управление доступом и безопасность

Управление доступом

Для защиты данных в Amazon S3 по умолчанию пользователям предоставляется доступ только к созданным ими ресурсам S3. Вы можете предоставить доступ другим пользователям с помощью одной из следующих функций управления доступом или их сочетания: AWS Identity and Access Management (IAM) для создания для создания пользователей и управления их доступом, списки контроля доступа (ACL) для предоставления доступа к отдельным объектам авторизованным пользователям, политики корзины для настройки разрешений для всех объектов в одной корзине S3, точки доступа S3 для упрощения управления доступом к наборам общих данных путем создания точек доступа с именами и разрешениями для каждого приложения или набора приложений и аутентификация строки запроса для предоставления временного доступа другим пользователям с помощью временных URL-адресов. Amazon S3 также поддерживает журналы аудита, которые содержат запросы к ресурсам S3 для обеспечения полной визуализации действий пользователей и данных, которые они запрашивают.

Безопасность

Amazon S3 предоставляет гибкие возможности обеспечения безопасности для предотвращения доступа неавторизованных пользователей к данным. Конечные точки VPC используются для подключения к ресурсам S3 из Amazon Virtual Private Cloud (Amazon VPC) и из локальной среды. Amazon S3 поддерживает шифрование на стороне сервера (с тремя ключевыми вариантами управления) и на стороне клиента для передачи данных. Используйте S3 Inventory для проверки статуса шифрования объектов S3 (подробнее о S3 Inventory см. в разделе об управлении хранилищем).

S3 Block Public Access
 – это новый набор механизмов контроля безопасности, который позволяет запретить публичный доступ к корзинам и объектам S3. Достаточно нескольких нажатий клавиш в Консоли управления Amazon S3, чтобы применить параметры S3 Block Public Access ко всем корзинам аккаунта AWS или только к некоторым корзинам S3. После того как параметры применены к аккаунту AWS, любые существующие или новые корзины и объекты, связанные с этим аккаунтом, будут наследовать параметры, запрещающие публичный доступ. Параметры Amazon S3 Block Public Access переопределяют другие разрешения S3. Благодаря этому администратору аккаунта легко обеспечить применение политики «Запрет публичного доступа» независимо от способа добавления объекта или создания корзины или существующих разрешений доступа. Механизмы контроля S3 Block Public Access поддерживают аудит, что предоставляет дополнительный уровень контроля, и используют проверки разрешений корзины AWS Trusted Advisor, журналы AWS CloudTrail и предупреждения Amazon CloudWatch. Необходимо включить Block Public Access для всех учетных записей и корзин, которые не должны быть общедоступными.

Используя точки доступа S3 для сервиса Virtual Private Cloud (VPC), вы можете легко защитить брандмауэром данные S3 в своей частной сети. Кроме того, с помощью политик управления сервисами AWS можно требовать, чтобы для всех новых точек доступа S3 в организации действовало ограничение, разрешающее доступ только из VPC.

Access Analyzer для S3 – это возможность, которая отслеживает политики доступа к корзине и гарантирует, что они предоставляют только санкционированный доступ к вашим ресурсам S3. Сервис Access Analyzer для S3 оценивает ваши политики доступа к корзине, а также позволяет обнаруживать и оперативно восстанавливать корзины с несанкционированным доступом. При проверке результатов, указывающих на возможный общий доступ к корзине, можно полностью заблокировать общий доступ к корзине одним щелчком мыши в консоли S3 Management. В целях аудита результаты работы сервиса Access Analyzer для S3 можно загрузить в виде CSV‑отчета. 

С помощью IAM легче анализировать доступ и уменьшить число разрешений для предоставления минимума полномочий путем проставления метки времени с информацией о том, когда пользователь или роль в последний раз использовали S3 и выполняли связанные с этим действия. Используйте информацию о последнем доступе, чтобы анализировать доступ к S3, идентифицировать неиспользованные разрешения и уверенно удалять их. Подробнее см. в разделе Refining Permissions Using Last Accessed Data.

Сервис Amazon Macie можно использовать для обнаружения и защиты конфиденциальных данных, которые хранятся в Amazon S3. Macie автоматически собирает полный реестр S3 и непрерывно оценивает каждую корзину, чтобы предупреждать о наличии любых общедоступных или незашифрованных корзин, а также корзин, совместно используемых с аккаунтами AWS за пределами организации или реплицируемых в такие аккаунты. Затем сервис Macie применяет методы машинного обучения и сопоставления с шаблонами к выбранным корзинам, чтобы распознавать конфиденциальные данные, например персональную информацию, и отправлять уведомления о них. По мере генерирования отчетов о безопасности рассылаются события сервиса Amazon CloudWatch Events, что облегчает интеграцию с существующими системами управления рабочими процессами, а также позволяет запустить автоматическое устранение неполадок с помощью сервисов типа AWS Step Functions и выполнять такие действия, как закрытие общедоступной корзины или добавление тегов ресурсов.

AWS PrivateLink для S3 предоставляет частное подключение между Amazon S3 и локальной сетью. Вы можете предоставить интерфейсные адреса VPC для S3 в VPC для подключения локальных приложений непосредственно к S3 по AWS Direct Connect или AWS VPN. Запросы к конечным точкам интерфейса VPC для S3 автоматически перенаправляются в S3 по сети Amazon. Вы можете создать группы безопасности и настроить политики конечных точек VPC для конечных точек интерфейса VPC, чтобы пользоваться дополнительными возможностями управления доступом.

Обработка данных

S3 Object Lambda

С помощью функции S3 Object Lambda вы сможете добавлять собственный код в запросы S3 GET для изменения и обработки данных, возвращенных в приложение. Впервые вы сможете применить пользовательский код для изменения данных, возвращаемых стандартными запросами S3 GET, для фильтрования строк, динамического изменения размера изображений, удаления конфиденциальных данных и многого другого. Выполнение кодов на базе функций AWS Lambda осуществляется в инфраструктуре, полностью управляемой AWS, что дает возможность исключить необходимость создания и хранения производных копий данных или запуска дорогостоящих прокси, при этом без каких бы то ни было изменений в приложениях.

В S3 Object Lambda автоматическая обработка выходных данных стандартного запроса S3 GET осуществляется с помощью функций AWS Lambda. AWS Lambda – это бессерверный вычислительный сервис, выполняющий заданный пользователем код без необходимости управления базовыми вычислительными ресурсами. Чтобы начать настройку функции Lambda и прикрепить ее к точке доступа S3 Object Lambda, достаточно нескольких щелчков мышью в консоли управления AWS. С этого момента S3 будет автоматически вызывать функцию Lambda для обработки любых данных, полученных через точку доступа S3 Object Lambda, а приложение будет получать преобразованный результат. Вы сможете создавать и выполнять собственные пользовательские функции Lambda, адаптируя процесс преобразования данных S3 Object Lambda к требованиям конкретного примера использования.

Дополнительную информацию см. на странице описания функции S3 Object Lambda.

Запросы к данным без извлечения

Amazon S3 предоставляет встроенную возможность и дополнительные сервисы, которые запрашивают данные без необходимости в копировании и загрузке на отдельную аналитическую платформу или в хранилище данных. Это значит, что аналитику больших данных можно проводить непосредственно на данных в Amazon S3. S3 Select – это возможность S3, предназначенная для повышения производительности запросов на 400 % и сокращения расходов на запросы на 80 %. Она позволяет извлекать подмножество данных объекта (с помощью простых выражений SQL) вместо всего объекта, размер которого может составлять до 5 ТБ.

Amazon S3 также совместим с аналитическими сервисами AWS Amazon Athena и Amazon Redshift Spectrum. Amazon Athena запрашивает данные из Amazon S3 без извлечения и загрузки в отдельный сервис или платформу. Он использует стандартные выражения SQL для анализа данных, предоставления результатов за считаные секунды, а также часто применяется для специализированного обнаружения данных. Amazon Redshift Spectrum также выполняет SQL-запросы напрямую к данным в Amazon S3 и больше подходит для сложных запросов и крупных наборов данных (размером до нескольких экзабайт). Так как Amazon Athena и Amazon Redshift используют общие форматы и каталог данных, их можно использовать для одинаковых наборов данных в Amazon S3.

Передача данных

AWS предлагает целый набор сервисов передачи данных, и вы можете выбрать нужное решение для любого проекта по миграции данных. При миграции данных уровень подключения – очень важный фактор, и у AWS есть предложения, которые могут удовлетворить ваши потребности в гибридном облачном хранилище, а также в переносе данных по сети и в автономном режиме.

AWS Storage Gateway – это сервис гибридного облачного хранилища, который позволяет без особых усилий подключать ваши локальные приложения к хранилищу AWS Storage. Клиенты используют сервис Storage Gateway, чтобы без особого труда заменять ленточные библиотеки облачным хранилищем, создавать файловые ресурсы на основе облачного хранилища или кеши с малыми задержками для доступа локальных приложений к данным в AWS. 

Сервис AWS DataSync позволяет просто и эффективно передавать сотни терабайтов и миллионы файлов в сервис Amazon S3 на порядок быстрее, чем средства с открытым исходным кодом. Сервис DataSync автоматически выполняет многие ручные задачи или устраняет необходимость их выполнения. Перечень таких задач включает написание скриптов заданий копирования, составление расписаний и отслеживание передачи данных, проверку данных и оптимизацию использования сети. Кроме того, вы можете использовать AWS DataSync для копирования объектов из корзины S3 on Outposts в корзину, расположенную в регионе AWS, или наоборот. AWS Transfer Family обеспечивает полностью управляемую передачу файлов в сервис Amazon S3 с использованием протоколов SFTP, FTPS и FTP. Сервис Amazon S3 Transfer Acceleration позволяет быстро передавать файлы на большие расстояния между клиентом и корзиной Amazon S3.

Сервис AWS Snow Family специально разработан для использования в периферийных расположениях, в которых либо нет сети, либо ее пропускная способность ограничена. Он позволяет использовать накопители и возможности вычислений в неблагоприятных средах. В сервисе AWS Snowball используются физически защищенные портативные накопители и периферийные вычислительные устройства, позволяющие собирать и обрабатывать данные, а также выполнять их миграцию. Клиенты могут отправлять физические устройства Snowball в AWS для миграции данных без использования сети. AWS Snowmobile – это сервис для передачи данных, объем которых измеряется эксабайтами. Он позволяет без труда перемещать большие массивы данных, например видеобиблиотеки и репозитории образов, или выполнять миграцию всего ЦОД.

Вместе со сторонними поставщиками из сети AWS Partner Network (APN) клиенты также могут развертывать гибридные архитектуры хранилищ, интегрировать Amazon S3 в существующие приложения и рабочие процессы и переносить данные из облака AWS и в него.

Производительность

В Amazon S3 предоставляется лучшая в отрасли производительность для хранения объектов в облаке. Amazon S3 поддерживает параллельные запросы, благодаря чему производительность S3 можно масштабировать с помощью коэффициента вычислительного кластера, не внося изменения в приложение. Производительность масштабируется для каждого префикса, благодаря чему для достижения необходимой пропускной способности можно параллельно использовать необходимое количество префиксов. Количество префиксов не ограничено. В Amazon S3 можно осуществлять не менее 3500 запросов в секунду на добавление данных и 5500 запросов в секунду на их извлечение. Каждый префикс S3 может обеспечивать такие значения, благодаря чему значительно повысить производительность довольно просто.

Для достижения такой скорости обработки запросов в S3 не нужно настраивать генерацию случайных префиксов объектов. Это означает, что можно использовать логический или последовательный шаблон присвоения имен объектам S3 без отрицательного влияния на производительность. Чтобы получить актуальную информацию об оптимизации производительности в Amazon S3, см. Рекомендации по повышению производительности в Amazon S3 и Шаблоны производительности в Amazon S3.

Согласованность

Amazon S3 автоматически тщательно проверяет согласованность операций чтения после записи во всех приложениях. Этот процесс не влияет на производительность или доступность и региональную изолированность приложений, а также абсолютно бесплатный. Благодаря обеспечению согласованности S3 упрощает миграцию локальных аналитических процессов, устраняя необходимость вносить изменения в приложения и снижая затраты из-за отсутствия потребности в дополнительной инфраструктуре для тщательной проверки согласованности.

Все запросы к хранилищу S3 тщательно согласовываются. После успешной записи нового объекта или повторной записи существующего все последующие запросы на чтение незамедлительно получают последнюю версию объекта. S3 также тщательно проверяет согласованность операций получения списка, благодаря чему сразу после записи вы сможете создать список объектов в корзине со всеми внесенными изменениями.

Подробнее о тщательной проверке согласованности в S3 »

Надлежащее использование и ограничения

Использование данного сервиса регламентируется пользовательским соглашением Amazon Web Services ».

Готовы начать?

Standard Product Icons (Features) Squid Ink
Подробнее о ценах на продукт

Платите только за то, чем пользуетесь. Минимальные платежи отсутствуют.

Подробнее 
Sign up for a free account
Зарегистрировать бесплатный аккаунт

Получите мгновенный доступ к хранилищу AWS Free Tier и начните экспериментировать с Amazon S3. 

Регистрация 
Standard Product Icons (Start Building) Squid Ink
Начать разработку в консоли

Начните разработку с помощью Amazon S3 в консоли AWS.

Начало работы