O que é um framework de migração de dados?
O que é um framework de migração de dados?
A migração de dados significa mover dados de um sistema de armazenamento ou ambiente de computação para outro. Qualquer iniciativa de migração de dados visa mover dados de forma eficiente, considerando fatores como recursos de rede, segurança de dados, tempo e métodos de transferência. A migração de dados para a nuvem se concentra explicitamente na transferência de dados para a nuvem.
Esse processo não se limita a realocar dados, envolve mapeá-los com precisão entre diferentes ambientes de armazenamento. Pode assumir diversas formas. Por exemplo, talvez seja necessário fazer upload periódico de arquivos de dados em lotes, transmitir dados de sensores ou implementar uma migração única de um arquivo existente de sistemas de armazenamento de dados on-premises.
Objetivos
Cada projeto de migração de dados para a nuvem exige um caso de negócios claro para determinar os melhores resultados. No entanto, existem algumas metas comuns à maioria das migrações de dados:
- Maior eficiência, por exemplo, na busca de maior tempo de atividade, infraestrutura remote-first ou consolidação do sistema.
- Redução dos gastos com recursos em manutenção de hardware, operação de sala de servidores e administradores de sistemas locais 24 horas por dia, 7 dias por semana.
- Plataforma de dados fundamental para conduzir analytics, inteligência artificial e criar aplicações corporativas.
Outras metas podem incluir garantir que os sistemas permaneçam disponíveis em seu final natural de vida útil, virtualizar toda a infraestrutura e integrar dados com os sistemas de nuvem existentes.
Desafios
A migração bem-sucedida para a nuvem envolve mais do que apenas transferir arquivos. Ela exige que:
- Permissões, controles de acesso e outros metadados permanecem intactos.
- Os usuários tenham acesso ininterrupto aos dados críticos durante os uploads.
- A consistência de dados seja mantida apesar de qualquer interrupção na rede.
A transferência de grandes volumes de dados é demorada e geralmente requer uma intervenção manual significativa. Investir em ferramentas especializadas para migração pode resultar em custos irrecuperáveis após a conclusão da transição.
Portanto, a migração para a nuvem exige planejamento, agendamento e as ferramentas certas para limitar as despesas operacionais e reduzir os custos. Do contrário, o processo de migração de dados pode ser atrasado ou até mesmo precisar ser reiniciado do zero.
Quais são as principais considerações sobre o planejamento da migração de dados?
A liderança e as equipes envolvidas na migração de dados devem considerar o seguinte:
- Tempo gasto para migrar dados
- Quaisquer incompatibilidades existentes de origem e destino
- Considerações de segurança durante a migração
- Custo das ferramentas ou processos de migração
- Considerações de agendamento
- Tipo de migração: lote, streaming, tudo de uma vez
- Impacto nos recursos da rede
As etapas do planejamento incluem:
Avaliar suas fontes de dados
Antes de mover os dados, você deve avaliar suas configurações de dados atuais. Os tipos atuais de dados, armazenamento e métodos de acesso orientam suas opções de migração.
Por exemplo, bancos de dados relacionais armazenados em um servidor MySQL local podem ser migrados para o Amazon Relational Database Service (RDS) com um processo relativamente simples e um sistema de gerenciamento de banco de dados individual. No entanto, sistemas legados on-premises para ERP podem ser mais difíceis, especialmente se um imperativo de transformação digital envolver uma mudança de software.
Identifique e anote os detalhes de todas as suas fontes de dados para migração para a nuvem, como:
- Bancos de dados
- Dados da aplicação
- Armazenamento
- Modelos de dados
- De nuvem para nuvem
Projetar sua migração
Isso envolve organizar e configurar ferramentas de migração que atendam aos padrões de segurança existentes. Você também deve determinar a ordem das operações de migração de dados e programá-las com antecedência. Por exemplo, você pode escolher entre:
- Replicação em tempo real para cópia automática e assíncrona de objetos até que os dados sejam sincronizados entre os dois sistemas.
- Migração de snapshots para entrega única de um estado completo do sistema, que é então atualizado com transferências menores para acompanhar e alinhar com o estado atual.
- Migração em fases para a migração de conjuntos de dados menores, um por vez.
Além disso, planeje como avaliar a precisão e a qualidade da migração no final.
Informe as principais partes interessadas
A migração pode causar interrupções para funcionários, clientes e parceiros da empresa. Garanta que as principais partes interessadas estejam cientes do processo de migração de dados, dos planos, dos cronogramas e das interrupções de acessibilidade durante o período de migração. O treinamento também pode ser necessário para garantir que os administradores saibam como configurar e que os usuários saibam como acessar os dados e os serviços em nuvem após a migração.
Planeje e agende atualizações frequentes durante todo o processo de migração para manter uma percepção positiva.
Criar e testar a solução
Cada migração de dados exige uma estratégia diferente. Alguns tipos de migração de dados exigem uma transferência rápida e e de uma só vez de uma pequena quantidade de dados, enquanto outros podem ter uma grande quantidade chegando ao longo do tempo. A forma como você cria e testa sua migração dependerá da estratégia e das ferramentas envolvidas. Normalmente, você continuará usando seus sistemas antigos até concluir o teste completo dos novos sistemas para garantir que o processo de migração esteja completo e correto.
Quais são algumas estratégias de migração de dados?
Existem diferentes estratégias e métodos para fazer upload de dados para a Nuvem AWS usando os serviços de migração de dados para a nuvem da AWS.
Conexões diretas de rede
Uma conexão direta de rede é uma conexão privada por cabo entre seu roteador e um roteador baseado em nuvem. O roteador baseado em nuvem está na borda da rede privada do provedor de nuvem, dando-lhe acesso direto à sua gama de serviços.
O AWS Direct Connect permite que você use um cabo de fibra óptica Ethernet para uma conexão de rede de camada 3 entre sua organização e a AWS para mover com segurança dados de suas redes para os serviços da AWS. O AWS Direct Connect tem locais em todo o mundo, onde você pode configurar equipamentos para migração de dados.
Etapas para começar a usar:
Etapa 1: selecionar seu local direto de conexão
Escolha um local do AWS Direct Connect, determine as conexões necessárias e selecione um tamanho de porta. Várias portas podem ser usadas para maior largura de banda ou para fins de redundância.
Etapa 2: escolher seu tipo de conexão
Decida entre uma conexão dedicada ou hospedada. Uma conexão dedicada oferece acesso exclusivo com várias interfaces virtuais, enquanto uma conexão hospedada compartilha a conexão cruzada e fornece uma única interface virtual.
Etapa 3: configurar interfaces virtuais
Configure uma ou mais interfaces virtuais lógicas (VIF) em sua conexão. As VIFs de trânsito se conectam aos AWS Transit Gateways, as VIFs públicas acessam os serviços públicos da AWS por meio de IPs públicos e as VIFs privadas se conectam à Amazon VPC usando IPs privados.
Transferência de dados baseada em dispositivo
As migrações de dados em grande escala podem ser mais eficientes ao mover dados para um dispositivo e transportá-los fisicamente para um data center. O AWS Snowball é um serviço que fornece dispositivos seguros e robustos que você pode usar para carregar dados com segurança na nuvem. As etapas são as seguintes:
1. A AWS envia um dispositivo Snowball para seu local mediante solicitação.
2. Conecte o dispositivo à sua rede e use o AWS Snowball Client ou o AWS OpsHub para desbloquear e configurar o dispositivo.
3. Copie os dados para o dispositivo. A criptografia integrada garante a segurança durante a transferência.
4. Envie o dispositivo de volta para a AWS usando o rótulo de envio pré-pago.
5. Ao chegar, a AWS transfere automaticamente os dados para o bucket do S3 designado e apaga com segurança o dispositivo Snowball.
6. Você receberá uma notificação quando o processo for concluído.
Carregar fluxos de dados do sensor
Os dados de streaming coletados da IoT ou de dispositivos industriais e redes de sensores podem ser transferidos em tempo real para a nuvem em vez de serem capturados e processados em lote no local. O Amazon Data Firehose permite que você configure um stream com sua fonte de dados, transforme os dados, se necessário, e depois os armazene em uma variedade de serviços de armazenamento de destino na AWS.
As etapas são as seguintes:
Etapa 1: criar um stream do Firehose
Um stream do Firehose é a entidade central do Amazon Data Firehose. Você pode criá-lo no Console da AWS e configurá-lo para receber dados diretamente ou de um fluxo de dados existente do Amazon Kinesis.
Etapa 2: enviar dados para o stream do Firehose
Registros de até 1.000 KB são enviados pelos produtores de fluxo de dados para o stream do Firehose. Os produtores de dados podem ser aplicações, servidores ou outros serviços da AWS.
Etapa 3: configurar o armazenamento em buffer e o processamento de dados
O Amazon Data Firehose armazena dados de entrada em buffer antes de entregá-los aos destinos. Você pode configurar o tamanho do buffer (em MB) e o intervalo do buffer (em segundos).
Etapa 4: escolher um destino e entender o fluxo de dados
O Amazon Data Firehose entrega dados de streaming para vários destinos
- Os dados do Amazon S3 são armazenados em um bucket do S3, com backup opcional dos dados transformados.
- O Amazon Redshift é entregue primeiro em um bucket do S3 e depois é carregado no Redshift usando o comando COPY.
- Amazon OpenSearch Service com um backup opcional para o S3.
Migração de banco de dados
A migração de banco de dados refere-se à migração de bancos de dados relacionais, data warehouses, bancos de dados NoSQL e outros tipos de armazenamentos de dados em formato de banco de dados. Os serviços de migração descobrem os tipos e os esquemas do banco de dados e copiam diretamente para a mesma infraestrutura ou convertem em um novo mecanismo de destino.
O AWS Database Migration Service descobre, avalia, converte e migra workloads de banco de dados e analytics para a AWS usando um processo automatizado de migração de dados. É altamente disponível e tem um tempo de inatividade mínimo.
Se seu caso de migração de dados não estiver listado acima, você também pode tentar:
- AWS Transfer Family: um pacote de serviços seguros de transferência de arquivos, como o SFTP
- AWS Storage Gateway: um pacote de soluções híbridas de armazenamento local e em nuvem
- AWS Glue: um pacote de serviços para descobrir, preparar, mover e integrar dados de várias fontes
Quais são algumas das práticas recomendadas para a migração de dados?
Algumas das práticas recomendadas na migração de dados para a nuvem são apresentadas abaixo.
Sempre ter backups de dados
Sempre tenha backups de dados, independentemente de você estar planejando mover dados ou simplesmente realizar operações diárias. Não exclua seus dados originais antes de ter certeza de que a configuração da nuvem foi completamente testada e funciona conforme o esperado, com seus próprios backups.
Garantir que todas as dependências sejam mapeadas e migradas
Os dados geralmente são anexados a várias outras dependências e não funcionarão corretamente sem elas. Para garantir uma transição sem problemas, garanta que todas as dependências sejam mapeadas e migradas junto com os dados originais. As permissões do usuário e os controles de acesso devem ser definidos nos mesmos níveis de antes da migração e reavaliados para aumentar a segurança sempre que possível.
Faça uma dupla verificação das obrigações e configurações de segurança e conformidade
Antes, durante e depois da migração, você deve examinar as políticas e os procedimentos de segurança e conformidade para determinar os processos e controles corretos a serem usados nas atividades de migração.
Inclua o planejamento para o descomissionamento de equipamentos antigos
O hardware antigo ainda pode conter dados recuperáveis, mesmo quando arquivos e espaços em disco foram excluídos. Para garantir a exclusão completa de todos os dados, proteja a desativação de dispositivos antigos, por exemplo, seguindo as Diretrizes do NIST 800-88 para sanitização de mídia.
Como a AWS pode apoiar suas necessidades de migração de dados?
Na AWS, desenvolvemos um conjunto completo de ferramentas e serviços de migração de dados para tornar a importação e a exportação de dados fácil, segura e econômica. Há ajuda disponível em cada estágio de todo o processo de migração de dados. Acesse Migração para a Nuvem AWS para migrar e se modernizar com a AWS, ou solicite uma Avaliação de otimização e licenciamento da AWS gratuita hoje mesmo.