Репликация в Amazon Simple Storage Service (S3) — эластичная, полностью управляемая, недорогая функция, которая реплицирует объекты между корзинами. Репликация в S3 обладает наибольшей гибкостью и функциональностью в облачном хранилище, предоставляя вашему бизнесу такие необходимые возможности, как управление данными, обеспечение суверенитета данных и другие.
В S3 можно настроить автоматическую репликацию объектов S3 между различными регионами AWS с помощью межрегиональной репликации (CRR) или между корзинами в рамках одного региона AWS c помощью внутрирегиональной репликации S3 (SRR). Репликация S3 обеспечивает гибкость репликации в несколько целевых корзин в том же или разных регионах AWS. Репликация S3 поддерживает двухстороннюю репликацию между двумя и более корзинами в том же или разных регионах AWS. Репликация в режиме реального времени, такая как CRR и SRR, автоматически реплицирует вновь загруженные объекты по мере их записи в корзину, в то время как пакетная репликация S3 позволяет работать с уже существующими объектами. Пакетную репликацию S3 можно использовать для заполнения новой корзины существующими объектами, повторной попытки неудавшейся ранее репликации объектов, переноса данных между аккаунтами или добавления новых хранилищ в озеро данных. Если клиентам необходимо прогнозируемое время репликации на основании Соглашения об уровне обслуживания (Service Level Agreement, SLA), то они могут использовать контроль времени репликации (Replication Time Control, RTC) для репликации объектов менее чем за 15 минут.
Репликация Amazon S3 также предоставляет детальную метрику и оповещения, чтобы отслеживать статус репликации между корзинами. С консоли управления S3 или в Amazon CloudWatch можно наблюдать за процессом репликации, отслеживая байты и операции в статусе ожидания, задержку при репликации и операции неудачной репликации. Кроме того, можно настроить функцию оповещений о событиях S3, чтобы получать оповещения об ошибке репликации, быстро выполнять диагностику и устранять проблемы конфигурации. Метрики репликации в S3 и функция оповещений помогают тщательно контролировать процесс репликации. Подробнее см. в Мониторинг репликации с помощью метрик и оповещений о событиях Amazon S3.
Сценарии использования репликации S3
Избыточность данных. Если вам нужно поддерживать несколько копий данных в том же или разных регионах AWS, с разным типом шифрования или в разных аккаунтах. Репликация S3 позволяет удовлетворить потребностям в глобальном распространении контента, соответствующих требованиям хранилищах и обмене данными в разных аккаунтах.
Репликация объектов при сохранении метаданных. Если вы хотите гарантировать идентичность реплицированных и исходных данных, воспользуйтесь репликацией S3 для создания копий объектов, включающих все метаданные, например время создания исходного объекта, список контроля доступа объекта (ACL) и идентификаторы версий.
Репликация объектов в более экономичные классы хранилищ. С помощью репликации S3 можно скопировать объекты в S3 Glacier, S3 Glacier Deep Archive или хранилище другого класса в целевых корзинах. Кроме того, можно реплицировать данные в тот же самый класс хранилища и затем перемещать объекты в более рентабельное хранилище с помощью политик управления жизненным циклом S3.
Сохранение копий объектов со сменой аккаунта. Независимо от того, кому принадлежат права на исходный объект, в качестве владельца реплицированной копии в Amazon S3 можно настроить аккаунт AWS, которому принадлежит целевая корзина, чтобы ограничить доступ к репликам объекта.
Репликация объектов в пределах 15 минут. С помощью возможности контроля времени репликации Amazon S3 (S3 RTC) можно реплицировать данные в предсказуемых временных рамках. За счет контроля времени репликации 99,99 % новых объектов, сохраненных в Amazon S3, реплицируются в пределах 15 минут от начала загрузки, что зафиксировано в Соглашении об уровне обслуживания (SLA).
Принципы работы репликации S3
Обзор защиты данных Amazon S3 – управление версиями, блокировка объектов и репликация
Межрегиональная репликация в Amazon S3 (CRR)
Возможность межрегиональной репликации (CRR) в S3 упрощает репликацию объектов (а также связанных с объектами метаданных и тегов) в другие регионы AWS для снижения задержек, аварийного восстановления, обеспечения соответствия требованиям и ряда других примеров использования. S3 CRR можно настроить для репликации объектов из исходной корзины S3 в одну или более целевых корзин в другом регионе AWS.
Возможность Amazon S3 CRR автоматически выполняет репликацию данных между корзинами в различных регионах AWS. С помощью тегов объектов S3 CRR позволяет настроить репликацию на уровне корзин, общих префиксов или отдельных объектов. CRR позволяет предоставить доступ к данным с низкой задержкой в разных географических регионах. Межрегиональная репликация также полезна в тех случаях, когда для соблюдения правовых норм копии данных требуется хранить в сотнях километров друг от друга. Межрегиональную репликацию можно использовать для передачи владения реплицированными данными в другой аккаунт, чтобы предотвратить их случайное удаление. Подробнее о межрегиональной репликации см. в документации по репликации S3.
Примеры использования
Соответствие требованиям. По умолчанию в Amazon S3 данные хранятся в нескольких географически удаленных друг от друга зонах доступности, однако для обеспечения соответствия требованиям может требоваться хранение данных с соблюдением еще большего расстояния. Межрегиональная репликация позволяет выполнять эти требования, используя репликацию данных между территориально удаленными регионами AWS.
Влияние задержки на производительность. Если клиенты или конечные пользователи находятся в одной или нескольких географических местоположениях, можно максимально сократить задержку доступа к объектам, поддерживая несколько копий объектов в регионах AWS, расположенных территориально ближе к клиентам.
Эффективность в рамках региона. При наличии в двух или более разных регионах AWS вычислительных кластеров, которые анализируют один и тот же набор объектов, можно настроить копии соответствующих объектов во всех этих регионах AWS.
Внутрирегиональная репликация Amazon S3 (SRR)
Amazon S3 SRR – это возможность S3, которая осуществляет автоматическую репликацию данных между корзинами в одном регионе AWS. SRR позволяет с помощью тегов объектов S3 настроить репликацию на уровне корзин, общих префиксов или объектов. Внутрирегиональную репликацию можно использовать для создания одной или нескольких копий данных в том же регионе AWS. Внутрирегиональная репликация решает такие проблемы, как обеспечение суверенитета данных и соответствия требованиям, позволяя хранить копию данных в отдельном аккаунте AWS, но в том же регионе, что и оригинал. Внутрирегиональную репликацию можно использовать для изменения аккаунта-владельца реплицированных данных, чтобы предотвратить их случайное удаление. Кроме того, можно использовать SRR для простой агрегации журналов из разных корзин S3 в целях обработки в пределах региона или для настройки репликации в режиме реального времени между средами тестирования и разработки.
Примеры использования
Агрегация журналов в одну корзину. Если журналы хранятся в нескольких корзинах или в нескольких аккаунтах, можно с легкостью реплицировать их в одну корзину в рамках одного региона. Это обеспечит упрощенную обработку журналов в едином местоположении.
Репликация между аккаунтом разработки и тестовыми аккаунтами. Если у вас или у ваших клиентов есть аккаунты разработчика и тестовые аккаунты, использующие одни и те же данные, можно реплицировать объекты между несколькими аккаунтами, управляя метаданными этих объектов путем реализации правил SRR.
Соблюдение законов о суверенных данных. Зачастую клиентам необходимо хранить данные в отдельных аккаунтах AWS, чтобы обеспечить нахождение данных в пределах заданного региона. С помощью репликации данных в рамках этого региона можно создать резервную копию критически важных данных, если нормативные требования запрещают их перемещение за пределы государства.
Amazon S3 Batch Replication
Репликация в режиме реального времени, такая как CRR и SRR, автоматически реплицирует вновь загруженные объекты по мере их записи в корзину, в то время как пакетная репликация S3 позволяет работать с уже существующими объектами. Пакетную репликацию S3 можно использовать для заполнения новой корзины существующими объектами, повторной попытки неудавшейся ранее репликации объектов, переноса данных между аккаунтами или добавления новых хранилищ в озеро данных. Пакетная репликация S3 подходит для любого объема данных, предлагая полностью управляемое решение для защиты и обеспечения соответствия данных требованиям, аварийного восстановления и оптимизации производительности. Работу с пакетной репликацией S3 можно начать всего за несколько кликов в консоли S3 или с помощью одного запроса API.
Пакетная репликация S3 дополняет внутрирегиональную (SRR) и межрегиональную репликацию (CRR). Пакетная репликация S3 копирует существующие объекты, в то время как SRR и CRR отслеживают загрузку новых объектов и осуществляют их репликацию между корзинами.
Примеры использования
Заполнение новых корзин. При создании нового хранилища в нескольких регионах требуется создать новые корзины и заполнить их существующими объектами из другой корзины, и для этого можно задействовать пакетную репликацию.
Повторная репликация. Пакетная репликация используется при необходимости повторить репликацию из-за таких причин, как неудавшаяся репликация, дополнительная репликация в другое место назначения после удачной репликации или изменение источника репликации.
Миграция. Если необходимо перенести существующие объекты в разные корзины, независимо от того, в каком регионе или аккаунте они находятся, пакетная репликация поможет сохранить метаданные и идентификационный номер версии.
Контроль времени репликации Amazon S3
Контроль времени репликации в Amazon S3 позволяет соблюдать нормативные требования или обеспечивать потребности бизнеса в ходе репликации за счет поддержания прозрачности процессов репликации в Amazon S3. Возможность контроля времени репликации обеспечивает репликацию объектов, загружаемых пользователями в Amazon S3, за считаные секунды, при этом для 99,99% объектов репликация обеспечивается в пределах 15 минут. Контроль времени репликации S3 по умолчанию включает метрики S3 и оповещения о событиях S3, с помощью которых можно мониторить общее количество операций API S3, ожидающих репликации, общий размер объектов, ожидающих репликации, и максимальное время репликации.
Контроль времени репликации в Amazon S3 регулируется соглашением об уровне обслуживания (SLA), по условиям которого в течение любого расчетного месяца репликация 99,9 % объектов занимает не более 15 минут.
Подробнее о контроле времени репликации в Amazon S3 см. на странице документации по репликации в S3 или в вопросах и ответах по репликации в S3.
Принцип работы контроля времени репликации Amazon S3
Начало работы с репликацией в S3
Репликация в Amazon S3 (CRR, SRR) и контроль времени репликации в S3 можно настраивать с помощью тегов объектов S3 на уровне корзин, общих префиксов или объектов. Кроме того, контроль времени репликации в S3 можно включить для одной или нескольких пар регионов.
Чтобы начать работу, ознакомьтесь с руководством по репликации S3, руководством по пакетной репликации S3, а также с часто задаваемыми вопросами и соответствующей документацией. Цены на репликацию S3 приведены на странице цен на S3.