Migração de dados para a nuvem

Mova dados locais para a AWS para migrações ou fluxos de trabalho contínuos

Os dados são o alicerce de implantações bem-sucedidas de aplicativos, fluxos de trabalho analíticos e inovações de machine learning. Ao mover dados para a nuvem, você precisa entender para onde os está movendo com base nos diferentes casos de uso, nos tipos de dados que está movendo e nos recursos de rede disponíveis, entre outras considerações. A AWS oferece uma ampla variedade de serviços e ferramentas de parceiros para ajudar você a migrar seus conjuntos de dados, sejam eles arquivos, bancos de dados, imagens de máquinas, volumes de blocos ou até mesmo backups em fita.

Melhores práticas para migrar dados para a AWS (50:07)

Serviços de migração de dados para a Nuvem AWS

O conjunto de serviços de transferência de dados criado pela AWS inclui muitos métodos que ajudam você a migrar seus dados com mais eficiência. Você pode pensar sobre eles em duas categorias; transferência de dados online e armazenamento na nuvem híbrida e migração de dados offline para o Amazon S3.

Transferência de dados online e armazenamento na nuvem híbrida

Esses métodos simplificam a criação de um link de rede para sua VPC, a transferência de dados para a AWS ou o uso do S3 para armazenamento em nuvem híbrida com seus aplicativos locais atuais. Esses serviços podem ajudar a carregar e movimentar grandes conjuntos de dados de uma vez, bem como integrar fluxos de processos atuais, como backup e recuperação, ou streams de dados contínuos diretamente ao armazenamento na nuvem.

AWS Direct Connect

O cliente seleciona uma conexão física dedicada com o Direct Connect para acelerar as transferências de rede entre seus datacenters e os nossos.

O AWS Direct Connect permite que você estabeleça uma conexão de rede dedicada entre sua rede e um dos locais do AWS Direct Connect. Usando VLANs 802.1q padrão do setor, essa conexão dedicada pode ser particionada em várias interfaces virtuais. Isso permite usar a mesma conexão para acessar recursos públicos, como os objetos armazenados no Amazon S3 usando o espaço de endereço IP público e recursos privados, como instâncias do Amazon EC2 em execução em uma Amazon Virtual Private Cloud (VPC) usando o espaço IP privado, e ao mesmo tempo mantendo a separação entre os ambientes públicos e privados da rede. As interfaces virtuais podem ser reconfiguradas a qualquer momento para atender às suas necessidades em constante mudança.

Explore nossos pacotes de parceiro do AWS Direct Connect que ajudam a estender as tecnologias no local para a nuvem. 

AWS DataSync

O AWS DataSync é um serviço de transferência de dados que facilita a automatização da movimentação de dados entre o armazenamento local e o Amazon S3 ou o Amazon Elastic File System (Amazon EFS). O DataSync processa automaticamente muitas das tarefas relacionadas a transferências de dados que podem retardar as migrações ou sobrecarregar as operações de TI, como executar suas próprias instâncias, processar criptografia, gerenciar scripts, otimizar redes e validar integridade de dados. Você pode usar o DataSync para transferir dados online com velocidade até 10 vezes maior que as ferramentas de código aberto. Você pode usar o DataSync para copiar dados por meio do AWS Direct Connect ou links da Internet para a AWS para migrações de dados ocasionais, fluxos de trabalho recorrentes de processamento de dados e replicação automatizada para proteção e recuperação de dados.

AWS Storage Gateway

O serviço AWS Storage Gateway simplifica a adoção local do armazenamento da AWS. Seus aplicativos atuais conectam-se a um gateway local por meio de protocolos de armazenamento em blocos e fitas padrão do setor para armazenar dados no Amazon S3 e no Amazon Glacier. Os dados são compactados e transferidos com segurança para a AWS.

  • O gateway de arquivos apresenta compartilhamentos de arquivos SMB ou NFS para aplicativos locais, para armazenar arquivos como objetos S3 e acessá-los com interfaces de arquivos tradicionais.
  • A configuração da VTL (biblioteca de fita virtual) do gateway de fitas integra-se perfeitamente ao seu software de backup atual para oferecer uma substituição de fitas econômica no Amazon S3, além de arquivamento de longo prazo no S3 Glacier e no S3 Glacier Deep Archive.
  • O gateway de volumes guarda ou armazena em cache volumes de blocos localmente, com backups pontuais como instantâneos do EBS. Esses instantâneos podem ser recuperados na nuvem.

Amazon S3 Transfer Acceleration

O Amazon S3 Transfer Acceleration acelera as transferências da Internet pública para o Amazon S3. Você pode maximizar sua largura de banda disponível independentemente da distância ou condições variáveis da Internet, e não há nenhum protocolo de rede do cliente ou proprietário. Basta mudar o endpoint que você usa com o bucket do S3 e a aceleração é aplicada automaticamente.

Isso é ideal para trabalhos recorrentes que viajam pelo mundo, como uploads de mídia, backups e tarefas de processamento de dados locais enviados com frequência para um local central.

Amazon Kinesis Data Firehose

O Amazon Kinesis Data Firehose é o modo mais fácil de carregar dados de streaming na AWS. Ele pode coletar e carregar automaticamente dados de streaming no Amazon S3 e no Amazon Redshift, para permitir análises em tempo quase real usando as ferramentas e os painéis de inteligência de negócios que você já usa. É um serviço totalmente gerenciado que ajusta a escala automaticamente para atender o throughput dos seus dados e não exige uma administração contínua. Ele pode separar em lotes, compactar e criptografar os dados antes de carregá-los, o que minimiza o volume de armazenamento usado no destino e aumenta a segurança. Você pode criar facilmente um stream de distribuição do Firehose no Console de Gerenciamento da AWS, configurá-lo com alguns cliques e começar a enviar dados para o stream de centenas de milhares de fontes de dados para serem carregados continuamente na AWS. Tudo isso em poucos minutos.

Produtos de parceiros do APN

A AWS firmou parceria com vários fornecedores do setor de dispositivos de gateway físico para contornar o desnível entre o backup tradicional e a nuvem. Vincule os dados no local à nuvem da Amazon para fazer a mudança sem prejudicar a performance e preservar os catálogos de backup atuais.

  • Integra-se diretamente à infraestrutura existente
  • Pode oferecer desduplicação, compressão, criptografia ou aceleração da WAN
  • Armazene os backups recentes localmente em cache, proteja tudo na Nuvem AWS

Migração de dados offline para o Amazon S3

Nunca se deve subestimar a largura de banda de um caminhão carregado com 100 petabytes de discos rígidos ou um dispositivo do tamanho de uma maleta com de capacidade de armazenamento de 100 TB. Esses serviços de migração de dados offline que usam dispositivos pesados e transportáveis são ideais para mover grandes arquivos, data lakes ou quando a largura de banda e os volumes de dados não conseguem atravessar as redes dentro do prazo desejado.

AWS Snowball

O AWS Snowball é uma solução de transporte de dados na escala de petabytes que usa dispositivos seguros para transferir grandes quantidades de dados para dentro e para fora da AWS. O uso do Snowball resolve desafios comuns relacionados a transferências de dados em grande escala, como largura de banda de rede limitada, transferências demoradas e questões de segurança. Transferir dados com o Snowball é simples, rápido e seguro.

AWS Snowball Edge

O AWS Snowball Edge é um dispositivo de transferência de dados na escala de petabytes com recursos integrados de computação e armazenamento. Você pode usar o Snowball Edge para mover grandes quantidades de dados para dentro e para fora da AWS, como um nível de armazenamento temporário para grandes conjuntos de dados locais ou para ajudar com as cargas de trabalho locais em locais remotos ou offline.

AWS Snowmobile

O AWS Snowmobile é uma solução de transporte de dados na escala de exabytes que usa um semicontêiner seguro de cerca de 12 metros para transferir grandes quantidades de dados para dentro e para fora da AWS. O uso do Snowmobile resolve desafios comuns relacionados a transferências de dados em grande escala, como altos custos de rede, transferências demoradas e questões de segurança. A transferência de dados com o Snowmobile é feita por meio de uma interação personalizada, além de ser rápida, segura e poder custar apenas um quinto do valor de um serviço de Internet de alta velocidade.

Ferramentas não gerenciadas de migração de dados para a nuvem

A AWS também oferece ferramentas CLI ou de script fácil para mover dados de seu site para o armazenamento em nuvem da Amazon.

rsync

Os clientes usam rsync, uma ferramenta de código aberto com ferramentas de sistema de arquivos terceirizadas para copiar dados diretamente para os buckets do S3.

Interface da linha de comando do S3

Os clientes usam a CLI do Amazon S3 para desenvolver comandos e transferir dados diretamente para buckets do S3.

Interface da linha de comando do S3 Glacier

Os clientes usam a CLI do Amazon Glacier para mover dados para os cofres do Glacier.

O desafio da migração de dados para a nuvem comum

As realidades desafiadoras do transporte de dados aplicam-se à maioria dos projetos. Como você muda tranquilamente do seu local atual para a sua nova nuvem, com o mínimo de interrupções, de custo e de tempo? Qual é a maneira mais inteligente de realmente mover seus GB, TB ou PB de dados?

É um problema subjacente básico: que quantidade de dados pode ser movida e a que velocidade? Para obter o melhor cenário, use esta fórmula:

Número de dias = (Total de bytes)/(Megabits por segundo * 125 * 1000 * Utilização da rede * 60 segundos * 60 minutos * 24 horas)

Por exemplo, se houver uma conexão T1 (1,544 Mbps) e 1 TB (1024 * 1024 * 1024 * 1024 bytes) para mover para dentro ou para fora da AWS, o período mínimo teórico que demoraria para transferir a carga pela conexão da rede com uma utilização de rede de 80% seria de 82 dias.

Relaxe. Nós já fizemos isso antes. Descobrimos que os clientes abordam essa questão de duas maneiras: eles usam ferramentas de migração não gerenciadas muito básicas para mover dados ou selecionam um dos conjuntos de serviços da Amazon mencionados acima.

Como regra geral, para obter os melhores resultados, sugerimos:

Conexão Escala de dados Método
Menos de 10 Mbps Menos de 500 GB Não gerenciado
Mais de 10 Mbps Mais de 500 GB Serviço gerenciado