Gerencie dezenas a bilhões de objetos em escala com as operações em lote do S3
O S3 Batch Operations é um recurso de gerenciamento de dados do Amazon S3 que permite gerenciar bilhões de objetos em escala com apenas alguns cliques no console de gerenciamento do Amazon S3 ou uma única solicitação de API. Com esse recurso, você pode fazer alterações em metadados e propriedades de objetos ou executar outras tarefas de gerenciamento de armazenamento, como cópia ou réplica de objetos entre buckets, substituição de conjuntos de tags de objetos, modificação de controles de acesso e restauração de objetos arquivados do S3 Glacier, em vez de levar meses no desenvolvimento de aplicações personalizadas para executar essas tarefas.
Operações de lote do S3
As operações de lote do S3 são uma solução gerenciada para executar ações de armazenamento, como cópia e colocação de tags de objetos em escala, seja para tarefas únicas ou para cargas de trabalho de lote recorrentes. As operações de lote do S3 podem executar ações entre bilhões de objetos e petabytes de dados com uma única solicitação. Para executar o trabalho nas operações de lote do S3, você cria um trabalho. O trabalho consiste da lista de objetos, da ação a ser executada e do conjunto de parâmetros especificados para esse tipo de operação. Você pode criar e executar vários trabalhos por vez nas operações de lote do S3 ou usar prioridades de trabalho conforme necessário para definir a precedência de cada trabalho e garantir que aquele mais crítico aconteça primeiro. As operações de lote do S3 também gerenciam novas tentativas, rastreiam o progresso, enviam notificações de conclusão, geram relatórios e entregam eventos ao AWS CloudTrail para todas as alterações e tarefas executadas.
As operações de lote do S3 complementam qualquer arquitetura conduzida por eventos que você esteja operando hoje. Para novos objetos, o uso de eventos do S3 e funções do Lambda é excelente para converter tipos de arquivos, criar miniaturas, executar varreduras de dados e realizar outras operações. Por exemplo, os clientes usam eventos do S3 e funções do Lambda para criar versões menores e de baixa resolução de fotografias em raw quando as imagens são carregadas pela primeira vez para o S3. As operações de lote do S3 complementam esses fluxos de trabalho conduzidos por eventos existentes, fornecendo um mecanismo simples para executar as mesmas ações por meio dos seus objetos existentes também.
Como funciona: operações em lote do S3
Para executar um trabalho nas operações em lote do S3, é preciso criar uma tarefa. O trabalho consiste da lista de objetos, da ação a ser executada e do conjunto de parâmetros especificados para esse tipo de operação. Você pode criar e executar vários trabalhos por vez nas operações de lote do S3 ou usar prioridades de trabalho conforme necessário para definir a precedência de cada trabalho e garantir que aquele mais crítico aconteça primeiro. As operações em lote do S3 também gerenciam novas tentativas, monitoram o progresso, enviam notificações de conclusão, geram relatórios e entregam eventos ao AWS CloudTrail para todas as alterações e tarefas executadas.
Tutorial das operações de lote do S3
Clientes
A Teespring foi fundada em 2011 e permite que os usuários criem e vendam on-line produtos personalizados sob demanda. Como cada mercadoria personalizada exige vários ativos dentro da Teespring, eles armazenam petabytes de dados no Amazon S3.
“As operações de lote do Amazon S3 nos ajudaram a otimizar o nosso armazenamento utilizando a classe de armazenamento Glacier do Amazon S3. Usamos nossos próprios metadados de armazenamento para criar lotes de objetos que poderíamos mover para o Amazon S3 Glacier. Com o Amazon S3 Glacier, economizamos mais de 80% dos nossos custos de armazenamento. Estamos sempre procurando oportunidades para automatizar o gerenciamento de armazenamento e, com as operações de lote do S3, podemos gerenciar milhões de objetos em minutos.”
James Brady, vice-presidente de engenharia – Teespring
O Capital One é um banco fundado na interseção de finanças e tecnologia e é uma das marcas mais reconhecidas nos Estados Unidos.
O Capital One usou as operações de lote do Amazon S3 para copiar dados entre duas regiões da AWS para aumentar a redundância de seus dados e padronizar seus rastros de dados entre esses dois locais.
“Com as operações de lote do Amazon S3, criamos um trabalho para copiar milhões de objetos em horas, um trabalho que tradicionalmente levava meses para ser concluído. Usamos o relatório de inventário do Amazon S3, que forneceu uma lista de objetos em nosso bucket, como a entrada para o trabalho das operações de lote do Amazon S3. O Amazon S3 foi fundamental para copiar os dados, fornecer atualizações de progresso e entregar um relatório de auditoria quando o trabalho foi concluído. Ter esse recurso economizou semanas de esforço manual da nossa equipe e transformou essa transferência de dados em larga escala em algo rotineiro.”
Franz Zemen, vice-Presidente, Engenharia de Software – Capital One
O ePlus é um parceiro de consultoria avançado da AWS que trabalha com clientes para otimizar seus ambientes de TI e usa soluções como as operações de lote do S3 para economizar tempo e dinheiro para os clientes.
“As operações de lote do S3 são simplesmente incríveis. Elas não apenas ajudaram um de nossos clientes a reduzir o tempo, a complexidade e a árdua tarefa de ter que reunir uma ampla seleção de operações do S3, agendar trabalhos e renderizar as informações em um painel simples de usar, como também ajudaram a resolver alguns casos de uso desafiadores que creio que não conseguiríamos resolver na fração de tempo que as operações de lote do S3 levaram.
Por exemplo, as operações de lote do S3 trabalharam rapidamente copiando mais de 2 milhões de objetos entre regiões dentro da mesma conta e mantendo os metadados intactos. A solução funcionou perfeitamente, executando tarefas semelhantes entre contas e, principalmente, gerou um relatório de conclusão que selecionava e separava automaticamente operações bem-sucedidas contra operações com falha entre 400 milhões de objetos, permitindo um tratamento mais simples das operações com falha em um único arquivo.”
David Lin, arquiteto de soluções sênior e profissional certificado pela AWS – ePlus
Publicações do blog das operações de lote do S3
Blog de notícias da AWS
Operações de lote do Amazon S3
As operações de lote do Amazon S3 podem ser usadas para processar facilmente centenas, milhões ou bilhões de objetos do S3 de maneira simples e direta. Você pode copiar objetos para outro bucket, definir tags ou listas de controle de acesso (ACLs), iniciar uma restauração do S3 Glacier ou chamar uma função do AWS Lambda em cada um.
Blog de armazenamento da AWS
Criptografia de objetos com as operações de lote do S3
Esta publicação demonstra como criar uma lista de objetos, filtrar para incluir apenas objetos não criptografados, configurar permissões e executar um trabalho das operações de lote do S3 para criptografar seus objetos. A criptografia de objetos existentes é uma das muitas maneiras pelas quais você pode usar as operações de lote do S3 para gerenciar seus objetos do Amazon S3.
Blog de armazenamento da AWS
Transcodificação de arquivos de vídeo com as operações de lote do S3
Esta publicação analisa como usar as operações de lote do S3 para desencadear um trabalho de transcodificação de vídeo usando o AWS Lambda, seja de vídeo armazenado no S3 ou de vídeo que exija uma restauração do Amazon S3 Glacier.
Saiba como começar a usar e as melhores práticas.
Obtenha acesso instantâneo ao nível gratuito da AWS.
Comece a criar com o Amazon S3 no Console de Gerenciamento da AWS.