Управляйте десятками или даже миллиардами объектов при любом масштабе с помощью S3 Batch Operations
S3 Batch Operations – это возможность управления данными Amazon S3, с помощью которой можно администрировать миллиарды объектов при любом масштабе несколькими щелчками мыши в консоли управления Amazon S3 или один запрос API. С помощью этой функции можно вносить изменения в метаданные и свойства объектов и выполнять другие операции по управлению хранилищем, такие как копирование или репликация объектов из одной корзины в другую, замена набора тегов объекта, изменение ограничений доступа и восстановление архивных объектов из S3 Glacier (вместо того, чтобы тратить месяцы на разработку собственных приложений для решения подобных задач).
S3 Batch Operations
S3 Batch Operations – это управляемое решение для выполнения операций с хранилищем, таких как копирование объектов и сопровождение их тегами при любом масштабе; оно подходит как для разовых задач, так и для повторяющихся пакетных рабочих нагрузок. Благодаря S3 Batch Operations операцию с миллиардами объектов и петабайтами данных можно выполнить за один запрос. Для работы в S3 Batch Operations нужно создать задание. Задание состоит из перечня объектов, действия, которое необходимо совершить, и набора параметров, задаваемых пользователем для операции этого типа. В S3 Batch Operations можно создать и выполнить множество заданий одновременно или же с помощью приоритетов настроить порядок заданий, чтобы самые важные операции выполнялись в первую очередь. Возможность S3 Batch Operations также управляет повторными попытками, отслеживает ход выполнения, уведомляет о завершении заданий, составляет отчеты и фиксирует события, соответствующие каждому совершенному изменению и выполненному заданию, в AWS CloudTrail.
S3 Batch Operations станет отличным дополнением для любой существующей архитектуры, управляемой событиями. Когда в корзине появляются новые объекты, с помощью событий S3 и функций Lambda можно без труда преобразовывать типы файлов, создавать миниатюры, считывать данные и выполнять другие операции. Например, с помощью событий S3 и функций Lambda пользователи могут создавать версии исходных фотографий меньшего размера и разрешения, когда изображения впервые загружаются в S3. Для таких существующих управляемых событиями рабочих процессов решение S3 Batch Operations предоставляет простой способ выполнения этих же операций и с существующими объектами.
S3 Batch Operations: принцип работы
Для работы в S3 Batch Operations нужно создать задание. Задание состоит из перечня объектов, действия, которое необходимо совершить, и набора параметров, задаваемых пользователем для операции этого типа. В S3 Batch Operations можно создать и выполнить множество заданий одновременно или же с помощью приоритетов настроить порядок заданий, чтобы самые важные операции выполнялись в первую очередь. Возможность S3 Batch Operations также управляет повторными попытками, отслеживает ход выполнения, уведомляет о завершении заданий, составляет отчеты и фиксирует события, соответствующие каждому совершенному изменению и выполненному заданию, в AWS CloudTrail.
Учебные пособия по S3 Batch Operations
Клиенты
Компания Teespring была основана в 2011 году. Она предоставляет платформу для создания и продажи оригинальных продуктов по требованию через Интернет. Продажа каждого оригинального изделия затрагивает множество ресурсов на платформе Teespring. Для хранения петабайтов данных эта компания выбрала Amazon S3.
«Благодаря возможности Amazon S3 Batch Operations нам удалось привести наше хранилище в оптимальное состояние. Мы воспользовались хранилищем Amazon S3 Glacier. На основе метаданных нашего хранилища мы создали пакеты объектов, которые можно было перемещать в Amazon S3 Glacier. Хранилище Amazon S3 Glacier позволило нам сократить затраты на хранение данных более чем на 80 %. Мы постоянно ищем возможности автоматизировать управление хранилищем, и благодаря S3 Batch Operations управление миллионами объектов становится делом нескольких минут».
Джеймс Брейди, вице‑президент по разработке, Teespring
Банк Capital One был основан на стыке сферы финансовых сервисов и современных технологий. Это один из самых узнаваемых брендов США.
Capital One использовал Amazon S3 Batch Operations для копирования данных из одного региона AWS в другой с целью создания резервных копий этих данных и приведения объема данных в двух рассматриваемых регионах к единому стандарту.
«С помощью Amazon S3 Batch Operations мы создали задание для копирования миллионов объектов за несколько часов. Обычно на это уходило несколько месяцев. В наше задание Amazon S3 Batch Operations мы включили содержимое отчета об инвентаризации Amazon S3, в котором были перечислены объекты из нашей корзины. Возможности Amazon S3 помогли нам скопировать данные, информировали о ходе выполнения задания и сформировали аудиторское заключение, когда задание было завершено. Такое решение избавила нашу команду от нескольких недель ручного труда и превратила крупномасштабный перенос данных в рядовую операцию».
Франц Зэмен, вице‑президент по разработке программного обеспечения, Capital One
ePlus, опытный партнер‑консультант AWS, помогает своим клиентам оптимизировать ИТ‑среды и использует такие решения, как S3 Batch Operations, чтобы сэкономить их время и деньги.
«Возможность S3 Batch Operations просто невероятна. Она не только сэкономила время наших клиентов и упростила трудоемкий процесс, требовавший согласовать множество операций S3, спланировать задания и перевести информацию в простой вид для отображения на панели управления. Эта возможность также избавила нас от нервотрепки в нескольких случаях, в которых, по моему мнению, справиться за короткий промежуток времени было нереально. Но благодаря S3 Batch Operations все стало возможным.
К примеру, решение S3 Batch Operations позволило быстро скопировать более 2 миллионов объектов из одного региона в другой в рамках одного аккаунта, и наши метаданные не пострадали. Работа шла безукоризненно: решение выполнило схожие задания в разных аккаунтах и, что самое важное, составило отчет о завершении, в котором операции с 400 миллионами объектов были автоматически поделены на удачные и неудачные. Все операции, которые не удалось выполнить, были помещены в один файл, что упростило дальнейшую работу с ними.
Дэвид Лин, старший архитектор решений, обладатель сертификации AWS Certified Professional, ePlus
Публикации в блогах, посвященные S3 Batch Operations
Блог AWS News
Amazon S3 Batch Operations
С помощью решения Amazon S3 Batch Operations можно без труда обработать сотни, миллионы и миллиарды объектов S3. Решение позволяет копировать объекты в другую корзину, сопровождать их тегами или создавать списки контроля доступа (ACL), выполнять восстановление из резервной копии в S3 Glacier или вызывать к каждому объекту функцию AWS Lambda.
Блог AWS Storage
Encrypting objects with S3 Batch Operations
В этой публикации показано, как создать список объектов, включить в него только незашифрованные объекты с помощью фильтров, настроить разрешения и выполнить задание S3 Batch Operations для шифрования объектов. Шифрование существующих объектов – лишь одна из многих задач, которую можно решить с помощью решения S3 Batch Operations, предназначенного для управления объектами Amazon S3.
Блог AWS Storage
Transcoding video files with S3 Batch Operations
В этой публикации описывается, как использовать S3 Batch Operations, чтобы запустить задание по перекодированию видео с помощью AWS Lambda – на основе видео, хранящегося в S3, или видео, которое нужно восстановить из резервной копии в Amazon S3 Glacier.
Узнайте, как начать работу, и познакомьтесь с рекомендациями.
Получите мгновенный доступ к уровню бесплатного пользования AWS.
