Replique objetos existentes em seus buckets do Amazon S3 com a Replicação em lote do Amazon S3

TUTORIAL

Visão geral

Este tutorial mostra como replicar objetos já existentes em seus buckets na mesma região da AWS ou em diferentes regiões da AWS com o Batch Replication do Amazon Simple Storage Service (Amazon S3).

A Replicação do Amazon S3 é um atributo elástico, totalmente gerenciado e de baixo custo que replica objetos entre buckets do Amazon S3. Você pode replicar dados novos e existentes de um bucket de origem para vários buckets de destino na mesma ou em diferentes regiões da AWS. Se você deseja manter uma cópia secundária dos dados para protegê-los, ou manter os dados em várias regiões geográficas para fornecer menor latência aos usuários, a Replicação do S3 oferece os controles necessários para atender às suas necessidades de negócios.

Você pode usar a Replicação em lote do Amazon S3 para preencher um bucket recém-criado com objetos existentes, replicar novamente objetos que já foram replicados ou não puderam ser replicados anteriormente, migrar dados entre contas ou adicionar novos buckets ao seu data lake. As tarefas da Replicação em lote do S3 foram criadas com base em uma configuração de replicação existente e executadas para todas as regras de replicação que estão habilitadas para o bucket. Para obter mais informações sobre a Replicação do S3, visite a seção Replicação de objetos no Guia do usuário do Amazon S3 e, para ver um tutorial passo a passo sobre como configurar a replicação do S3, visite Replicar dados dentro e entre regiões da AWS usando a Replicação do Amazon S3. Ao final deste tutorial, você poderá replicar dados existentes dentro e entre regiões da AWS usando a Replicação do Amazon S3.

O que você aprenderá

Neste tutorial, você vai:

  • Configurar a Replicação do S3 em seu bucket do Amazon S3
    • Criar dois buckets do S3
    • Criar uma regra de Replicação do S3 em seu bucket do S3
    • Escolher um bucket do S3 de destino
    • Escolher ou criar funções do IAM para replicação
    • Especificar o tipo de criptografia (opcional)
    • Escolher a classe de armazenamento do S3 de destino
    • Habilitar opções adicionais de replicação (opcional)
  •  Configure a Replicação em lote do S3 para objetos existentes em seu bucket do Amazon S3 das seguintes formas:
    • Crie uma tarefa da Replicação em lote do S3 ao criar uma nova configuração de replicação em seu bucket ou ao adicionar um novo destino à sua configuração de replicação existente
    • Crie uma tarefa da Replicação em lote do S3 na página inicial de operações em lote do S3 (recomendado)
    • Crie uma tarefa da Replicação em lote do S3 a partir da página de configuração de replicação existente

Pré-requisitos

Antes de iniciar este tutorial, você precisará de:

 Experiência com a AWS

Iniciante

 Tempo para conclusão

20 minutos

 Custo para a conclusão

Menos de USD 1
Consulte a página de definição de preço do Amazon S3 para obter detalhes

 Será necessário

Conta da AWS

 Serviços usados

 Data da última atualização

30 de junho de 2023

Implementação

Etapa 1: criar dois buckets do Amazon S3

1.1 Faça login no Console de Gerenciamento da AWS usando as informações da sua conta. Na barra de pesquisa, insira S3 e selecione S3 nos resultados.

1.2 No painel de navegação esquerdo do console do S3, escolha Buckets e, em seguida, escolha Criar bucket.

1.3 Insira um nome global descritivo e exclusivo para seu bucket. Selecione a Região da AWS na qual você deseja criar seu bucket. Neste exemplo, a região eu-central-1 da UE (Frankfurt) é selecionada.

1.4 Habilitar o versionamento do bucket. O versionamento do bucket é necessário para os buckets S3 de origem e de destino para a replicação do S3. Para obter mais informações sobre o versionamento, consulte Usando o versionamento em buckets do S3.

1.5 Você pode deixar as opções restantes como padrão. Navegue até a
parte inferior da página e escolha Criar bucket.

1.6 Repita as etapas anteriores para criar outro bucket do S3 para servir como bucket de destino. Esse novo bucket pode existir na mesma região da AWS que o bucket de origem para a replicação na mesma região do S3 (S3 SRR) ou em uma região diferente da AWS para a replicação entre regiões do S3 (S3 CRR). Certifique-se de habilitar o Versionamento de buckets para o bucket do S3 de destino e nomeie seu novo bucket como algo exclusivo.

Etapa 2: criar uma configuração de replicação do S3 em seu bucket do S3

2.1 Na sua lista de buckets do S3, escolha o bucket do S3 de origem. O console leva você à página inicial do bucket do S3.

2.2 Na página inicial do bucket do S3, você pode revisar objetos, propriedades, permissões, métricas, gerenciamento e os pontos de acesso para o bucket do S3 selecionado.

Na guia Gerenciamento, em Regras de replicação, selecione Criar regra de replicação.

2.3 Insira um nome de regra de replicação e certifique-se de que Ativado esteja selecionado na seção Status. Se a regra de replicação estiver desativada, ela não será executada.

OBSERVAÇÃO: o Amazon S3 tenta replicar objetos de acordo com todas as regras de replicação. No entanto, se houver duas ou mais regras com o mesmo bucket de destino, os objetos serão replicados de acordo com a regra de maior prioridade. Quanto menor o número, maior a prioridade. Você pode editar a prioridade de cada regra de replicação na página de configuração de replicação.  

2.4 Limite o escopo da replicação definindo um tipo de filtro (prefixo ou tags) ou opte por replicar todo o bucket. Por exemplo, se você quiser replicar somente objetos que incluam o prefixo Finanças, especifique esse escopo. Para obter mais informações sobre como filtrar objetos para replicação, consulte a documentação sobre como especificar um filtro no Guia do usuário do S3.

2.5 Escolha o bucket de destino que você criou selecionando o botão Navegar S3 e inserindo o nome completo do bucket.

Você não pode criar um novo bucket do S3 durante o processo de configuração da replicação.

2.6 Ao criar novas regras de replicação a partir do mesmo bucket de origem, certifique-se de que a função AWS Identity and Access Management (IAM) associada a essa configuração tenha permissões suficientes para gravar novos objetos no novo bucket de destino. Você pode optar por criar um novo perfil do IAM ou selecionar um perfil existente do IAM com o conjunto certo de permissões. Para obter mais informações, consulte a documentação sobre como configurar permissões para a replicação do S3.

2.7 (Opcional) Se seus objetos forem criptografados com chaves de criptografia gerenciadas pelo Amazon S3 (SSE-S3) ou com o AWS Key Management Service (AWS KMS), especifique as opções de criptografia. A replicação do S3 suporta SSE-S3 (criptografia padrão), criptografia do lado do servidor do AWS KMS (SSE-KMS) e criptografia do lado do servidor com chaves fornecidas pelo cliente (SSE-C). Se você escolher a criptografia do AWS KMS, forneça as chaves do AWS KMS para descriptografar no bucket de origem e criptografar novamente no bucket de destino. Para economizar nos custos do AWS KMS, você pode ativar as chaves do bucket do Amazon S3.

2.8 (Opcional) Escolha uma classe de armazenamento S3 para seus objetos replicados no bucket de destino. Considere escolher classes de armazenamento de menor custo, conforme adequado para as workloads. Por exemplo, você pode escolher o Intelligent-Tiering para otimizar os custos de armazenamento de dados com padrões de acesso imprevisíveis ou variáveis, o Glacier Instant Retrieval se seus objetos replicados forem acessados com pouca frequência, mas precisarem ser recuperados em milissegundos, ou o Glacier Deep Archive para arquivar dados que raramente precisam ser acessados. Para obter mais informações, consulte o uso das classes de armazenamento do Amazon S3.

2.9 Escolha as opções adicionais de replicação necessárias:

  • Controle do tempo de replicação (RTC): o S3 RTC ajuda você a atender aos requisitos de conformidade e de negócios porque fornece um SLA de 15 minutos para replicar 99,99% dos seus objetos. Você pode ativar o S3 RTC junto com o S3 CRR e o S3 SRR. As métricas e notificações de replicação estão habilitadas por padrão.
  • Métricas e notificações de replicação : para regras não RTC, você tem a opção de selecionar métricas e notificações de replicação, que fornecem métricas detalhadas para rastrear minuto a minuto o progresso de bytes pendentes, operações pendentes, falha nas operações e latência de replicação da regra de replicação.
  • Excluir replicação do marcador: selecionar Excluir replicação do marcador significa que as exclusões no bucket de origem serão replicadas no bucket de destino. Isso deve ser ativado se você quiser manter os buckets de origem e destino sincronizados, mas não se o objetivo for proteger contra exclusões acidentais ou maliciosas.
  • Sincronização de modificações de réplica : para estabelecer a replicação bidirecional entre dois buckets do S3, crie regras de replicação bidirecional (A a B e B a A) e ative a sincronização de modificação de réplica para as regras de replicação nos buckets S3 de origem e de destino. Isso ajudará você a manter os metadados do objeto, como tags, ACLs e configurações do Object Lock, sincronizados entre as réplicas e os objetos de origem.

Não há suporte para o S3 RTC, métricas e notificações de replicação e sincronização de modificação de réplica durante a replicação de objetos existentes com a Replicação em lote do S3.

Depois de configurar a replicação, escolha Salvar.  

2.10 Quando você cria a primeira regra em uma nova configuração de replicação para seu bucket do S3 ou adiciona uma nova região da AWS de destino a uma configuração existente, você tem a opção de ativar a replicação de objetos existente para essa regra de replicação. Para replicar objetos existentes, escolha Sim, replique objetos existentes e escolha Enviar.

O console leva você para a página de tarefa de Criar operações em lote.

Etapa 3: replicar objetos existentes ao criar uma nova configuração de replicação

Na página de tarefa de Criar operações em lote, você pode revisar a tarefa de operações em lote do S3
configurações como opções de execução de tarefas, escopo dos relatórios de conclusão do S3 e permissões.

3.1 Defina as opções de execução da tarefa. Se quiser que a tarefa da Replicação em lote do S3 seja executada imediatamente, você pode escolher Executar automaticamente a tarefa quando ela estiver pronta. Se quiser esperar para executar a tarefa quando estiver pronto, salve o manifesto de Operações em lote para revisar a lista de objetos a serem replicados.

3.2 Opções de manifesto de Operações em lote. O arquivo de manifesto gerado pelo Amazon S3 usa o mesmo bucket de origem, prefixo e tags como sua configuração de replicação para listar todas as versões qualificadas de seus objetos para replicação. Recomendamos sempre escolher Salvar manifesto de Operações em lote para que você possa revisar a lista de objetos antes do início da replicação. Você pode salvar o manifesto na mesma conta da AWS ou em outra, mas o arquivo do manifesto deve ser armazenado na mesma região da AWS do bucket de origem.

Neste exemplo, escolhemos o bucket “aws-s3-tutorial-batch-replication-manifest-destination” para salvar o arquivo de manifesto, que está na mesma conta da AWS do bucket de origem.

3.3 Para maior segurança, criptografe o arquivo manifesto usando as chaves gerenciadas do Amazon S3 (SSE-S3) ou com a chave do Serviço de gerenciamento de chaves da AWS (SS3-KMS).

3.4 Desde que as operações em lote do S3 processem com êxito pelo menos um objeto, o Amazon S3 gera um relatório de conclusão após a conclusão, falha ou cancelamento da tarefa de replicação em lote. O relatório de conclusão contém informações adicionais para cada tarefa, incluindo nome e versão da chave do objeto, status, códigos de erro e descrições de quaisquer erros. Recomendamos escolher Gerar relatório de conclusão para todas as tarefas para que você possa revisar o status de todos os objetos que se replicam com essa tarefa. Para ver exemplos de relatórios de conclusão, consulte Exemplos: relatórios de conclusão de operações em lote do S3.

3.5 Certifique-se de que a função do IAM associada a essa tarefa de replicação em lote tenha permissões suficientes para realizar operações em lote do S3 em seu nome. Para obter mais informações, consulte a documentação sobre como configurar políticas do IAM para replicação em lote e concessão de permissões para operações em lote do Amazon S3.

Revise a configuração e selecione Salvar.

Você é redirecionado para a página inicial de operações em lote.

3.6 Selecione o ID da tarefa da sua nova tarefa para revisar a configuração do tarefa. Você também pode rastrear o status da tarefa de replicação em lote.

Etapa 4: replicar objetos existentes com a configuração de replicação existente

Além de criar uma tarefa de replicação para uma nova regra de replicação, conforme descrito na etapa anterior, você também pode criar tarefas da Replicação em lote do S3 para as regras de replicação existentes nos buckets do S3. Para fazer isso, retorne à página inicial do console Amazon S3.

4.1 No painel de navegação esquerdo da página inicial do console, escolha Operações em lote e escolha Criar tarefa.

4.2 Na página Criar tarefa, selecione a região da AWS em que você deseja criar sua tarefa de replicação em lote. Você deve criar a tarefa na mesma região da AWS em que o bucket S3 de origem está localizado.

4.3 Forneça a lista de objetos a serem replicados. Você pode adicionar um manifesto gerado pelo usuário na forma de um relatório de inventário do Amazon S3 ou um arquivo CSV. O manifesto precisa ter todas as versões do objeto que precisam ser replicadas. O Amazon S3 também pode gerar um manifesto para você usando a configuração de replicação existente do S3 no bucket de origem.

OBSERVAÇÃO: Neste exemplo, escolhemos Criar manifesto usando a configuração de replicação do S3 para permitir que o Amazon S3 gere um manifesto em nosso nome e escolhemos “aws-s3-replication-tutorial-source-bucket” como o bucket de origem. Se você optar por permitir que o Amazon S3 gere um manifesto para você, você também verá filtros adicionais, como data de criação do objeto e status de replicação, para reduzir o escopo da tarefa.

4.4 (Opcional) Se você optar por salvar o manifesto de operações em lote, criptografe seu arquivo de manifesto usando as chaves gerenciadas do Amazon S3 (SSE-S3) ou usando a chave do AWS Key Management Service (SSE-KMS) para maior segurança e controle de acesso.

  • Se você não especificar um modo de criptografia, o Amazon S3 usará as configurações de criptografia padrão no bucket de destino do manifesto para criptografar o arquivo de manifesto.
  • Se não houver criptografia padrão habilitada no bucket de destino, o Amazon S3 usará SSE-S3 para criptografar o arquivo de manifesto.

 

 

4.5 Escolha Avançar para ir para a página Escolher operação.

4.6 Se você escolheu Criar manifesto usando a configuração de replicação do S3 na página anterior, a única opção de operação é Replicar. Isso ocorre porque a replicação é a única operação permitida ao usar um manifesto gerado pelo S3. Selecione Replicar e, em seguida, escolha Avançar.

4.7 Configure opções adicionais:

  • Insira uma Descrição para melhor definir a finalidade da tarefa.
  • Selecione uma Prioridade para indicar a prioridade relativa dessa tarefa para outros em execução em sua conta. Um número maior indica maior prioridade. Por exemplo, uma tarefa com prioridade 2 será priorizado em relação a uma tarefa com prioridade 1. O S3 Batch Operations prioriza as tarefas de acordo com os números de prioridade, mas pedidos rigorosos não são garantidos. Portanto, você não deve usar as prioridades da tarefa para garantir que qualquer tarefa comece ou termine antes de qualquer outra tarefa. Se você precisar garantir um pedido rigoroso, espere até que uma tarefa seja concluída antes de iniciar a próxima.

4.8 Escolha se você deseja gerar um relatório de conclusão. 

4.9 Escolha uma função do IAM de Operações em lote válida para conceder ao Amazon S3 permissões para realizar ações em seu nome.

Você também deve anexar uma política do IAM de replicação em lote à função do IAM de Operações em lote. Para criar uma função e uma política válidas do IAM, consulte Configuração das políticas do IAM para replicação em lote.

4.10 Adicione etiquetas de tarefa à sua tarefa de replicação em lote e, em seguida, escolha Avançar para revisar a configuração da tarefa.

 

4.11 Na página Revisão, escolha Editar para fazer alterações e, em seguida, escolha Avançar para salvar suas alterações e retornar à página Revisão.

Quando sua tarefa estiver pronta, escolha Criar tarefa.  

 

4.12 Depois que a tarefa de replicação em lote for criada, a Operações em lote processa o manifesto. Se for bem-sucedido, o status da tarefa será alterado para Aguardando sua confirmação para execução. Você deve confirmar os detalhes da tarefa antes que ele possa ser executado.

Quando a tarefa é bem-sucedida, um banner é exibido na parte superior da página de Operações em lote.

Etapa 5: criar tarefa de replicação em lote na página de configuração de replicação do S3

5.1 Na sua lista de buckets do S3, escolha o bucket do S3 que você deseja configurar como sua fonte de replicação.

O console leva você à página inicial do bucket do S3.

5.2 Revise os objetos, propriedades, permissões, métricas, gerenciamento e pontos de acesso do bucket S3 selecionado.

5.3 Na guia Gerenciamento, em Regras de replicação, selecione Exibir configuração de replicação.

5.4 Na página inicial de configuração de replicação do seu bucket de origem, escolha Criar tarefa de replicação para acessar a página Criar tarefa para operações em lote do S3. Repita as etapas anteriores para criar uma tarefa de replicação em lote a partir da configuração de replicação existente.

Etapa 6: monitorar o progresso de uma tarefa de Replicação em lote do S3

Depois que uma tarefa de replicação em lote é criada e executada, ela progride por uma série de status. Você pode acompanhar o progresso de uma tarefa de replicação em lote consultando esses status na página inicial de Operações em lote.

Por exemplo, uma tarefa está no estado Novo quando é criado, passa para o estado Preparando quando o Amazon S3 está processando o manifesto e outros parâmetros da tarefa e, em seguida, passa para o estado Pronto quando está pronto para ser executado, Ativo quando está em andamento e, finalmente, Concluído quando o processamento é concluído. Para obter uma lista completa dos status das tarefas, consulte Status das tarefas de Operações em lote.

Você pode optar por gerar um relatório de conclusão ao criar sua tarefa de replicação em lote para rastrear o status da replicação de objeto. O relatório de conclusão é um arquivo CSV gerado pelo Amazon S3 após a conclusão, falha ou cancelamento de uma tarefa, desde que pelo menos uma tarefa tenha sido invocada com sucesso com as operações em lote do S3.

Além disso, se você tiver métricas de replicação ou Controle de Tempo de Replicação do S3 (S3 RTC) habilitados para sua regra de replicação, você pode revisar o número de operações com falha por minuto no console do Amazon S3 e no console do Amazon CloudWatch com métrica de Replicação com falha nas operações. Para obter mais informações, consulte os relatórios de conclusão das operações em lote do S3 e o monitoramento do progresso com as métricas de replicação do S3.

Etapa 7: limpar recursos

Exclua os objetos de teste

  1. Se você estiver desconectado da sessão do Console de Gerenciamento da AWS, realize login novamente.
  2. Navegue até o console do S3 e selecione a opção Buckets no menu.
  3. Primeiro, você precisará excluir o objeto de teste do seu bucket de teste. Selecione o bucket com o qual você está trabalhando para este tutorial.
  4. Selecione o objeto de teste e escolha Excluir.
  5. Na página Excluir objetos, verifique se você selecionou o objeto correto para excluir e insira excluir no campo de confirmação, em seguida escolha Excluir objeto.

Um banner na parte superior da página indica que a exclusão foi bem-sucedida.

Excluir buckets de teste

  1. Retorne à lista de buckets em sua conta.
  2. Selecione o botão radial à esquerda do bucket de origem que você criou para este tutorial e escolha Excluir.
  3. Insira o nome do bucket no campo de confirmação e escolha Excluir bucket.
  4. Repita essas etapas para excluir o bucket de destino que você criou como parte deste tutorial.

Um banner na parte superior da página indica que a exclusão foi bem-sucedida.

Conclusão

Parabéns! Você aprendeu a usar a Replicação em lote do S3 para replicar objetos existentes da origem para os buckets do S3 de destino para preencher os buckets recém-criados com objetos existentes, replicar objetos que foram replicados anteriormente e replicar objetos que falharam na replicação no passado. Quando você usa a Replicação em lote do S3, recomendamos usar um manifesto gerado pelo S3 para listar objetos para replicação automaticamente. Você também deve salvar seu manifesto de replicação para análise e análise futuras. Por fim, recomendamos gerar relatórios de conclusão para rastrear o status dos objetos que se replicam com a Replicação em lote do S3.

Próximas etapas

Para saber mais sobre a Replicação do S3, visite os seguintes recursos.

Documentação da Replicação em lote do S3

Perguntas frequentes sobre Replicação do S3

Replique objetos existentes com o blog sobre Replicação em lote do Amazon S3

Replique dados dentro e entre as regiões da AWS usando a Replicação do Amazon S3