Recursos do AWS DataSync

O AWS DataSync é um serviço de descoberta e movimentação de dados online que simplifica e acelera as migrações de dados para a AWS e ajuda você a mover dados com rapidez e segurança entre armazenamento on-premises, locais da borda, outras nuvens e AWS Storage.

O AWS DataSync Discovery (visualização) ajuda você a simplificar o planejamento da migração e acelerar a migração de dados para a AWS, oferecendo visibilidade sobre a performance e a utilização do armazenamento on-premises e fornecendo recomendações para migrar seus dados para serviços de armazenamento da AWS, como Amazon FSx para NetApp ONTAP, Amazon FSx para Windows File Server e Amazon Elastic File System (EFS). O DataSync Discovery permite que você entenda melhor a performance do armazenamento on-premises e o uso da capacidade por meio da coleta e análise automatizada de dados, permitindo identificar rapidamente os dados a serem migrados e usar as recomendações geradas para selecionar os serviços de armazenamento da AWS Storage que se alinham às suas necessidades de performance e orçamento.

Para transferências de dados on-line, o AWS DataSync simplifica, automatiza e acelera a cópia de grandes quantidades de dados entre os sistemas de armazenamento on-premises, locais da borda ou outras nuvens e serviços de armazenamento da AWS, bem como entre serviços de armazenamento da AWS. O DataSync pode copiar dados entre compartilhamentos do Network File System (NFS), compartilhamentos do Server Message Block (SMB), Sistemas de Arquivos Distribuídos do Hadoop (HDFS), armazenamento de objetos autogerenciados, Google Cloud Storage, Arquivos do Azure, AWS Snowcone, Amazon Simple Storage Service (Amazon S3), sistemas de arquivos do Amazon Elastic File System (Amazon EFS), sistemas de arquivos do Amazon FSx para Windows File Server, sistemas de arquivos do Amazon FSx para Lustre, sistemas de arquivos do Amazon FSx para OpenZFS e sistemas de arquivos do Amazon FSx para NetApp ONTAP.

O AWS DataSync fornece os seguintes recursos para migração de dados.

O AWS DataSync usa um protocolo de transferência projetado pela AWS, desacoplado do protocolo de armazenamento, para acelerar a movimentação de dados. O protocolo executa otimizações na forma e no momento do envio, assim como na seleção dos dados enviados pela rede. Otimizações de rede executadas pelo DataSync incluem transferências incrementais, compressão em linha e detecção de arquivos esparsos, bem como validação e criptografia de dados em linha.

As conexões entre o agente local do DataSync e os componentes do serviço de nuvem são multiencadeadas, maximizando a performance na Wide Area Network (WAN). Uma única tarefa DataSync é totalmente capaz de utilizar 10 Gbps em um link de rede entre seu ambiente on-premises e a AWS.

A transferência de dados quentes ou frios não deve impedir seus negócios. O DataSync é equipado com controles detalhados para otimizar o consumo de largura de banda. Acelere a velocidade de transferência para até 10 Gbps fora do horário de expediente e defina limites quando a disponibilidade da rede for necessária em outro lugar.

O DataSync é fornecido com um mecanismo de agendamento integrado que permite executar periodicamente tarefas de transferência de dados para detectar e copiar alterações do sistema de armazenamento de origem para o destino. Você pode programar suas tarefas usando o console do AWS DataSync ou a AWS Command Line Interface (CLI), sem gravar scripts para gerenciar transferências repetidas. A programação de tarefas as executa automaticamente dentro do cronograma que configurado, com as opções horárias, diárias ou semanais fornecidas diretamente no Console AWS.

Todos os seus dados são criptografados em trânsito entre o agente DataSync e o serviço DataSync usando Transport Layer Security (TLS). O DataSync oferece suporte ao uso de criptografia em repouso padrão para buckets do Amazon Simple Storage Service (Amazon S3). Além disso, ele também oferece suporte para criptografia de dados em repouso e em trânsito para o Amazon EFS e o Amazon FSx.

O DataSync garante que os dados cheguem intactos. Para cada transferência, o serviço realiza verificações de integridade nos dados em trânsito e ociosos. Essas verificações garantem que os dados gravados no destino correspondem aos dados lidos na origem e validam sua consistência.

O atendente do DataSync se conecta aos seus sistemas de armazenamento existentes usando os protocolos NFS e SMB padrão do setor, ao seu cluster Hadoop como um cliente HDFS, ao seu armazenamento de objetos autogerenciado ou ao Google Cloud Storage usando a interface de programação de aplicações (API) do Amazon S3 ou ao Azure Blob Storage usando a API Blob (demonstração). O atendente transfere dados rapidamente e os grava no bucket designado do Amazon S3, no sistema de arquivos do Amazon EFS, no sistema de arquivos do Amazon FSx para Windows File Server ou no sistema de arquivos do Amazon FSx.

Permissões de arquivo e metadados são preservados ao copiar objetos e/ou dados entre o Amazon Simple Storage Service (Amazon S3), Amazon EFS, Amazon FSx para Windows File Server, Amazon FSx para Lustre, Amazon FSx para OpenZFS ou Amazon FSx para NetApp ONTAP.

Ao copiar dados para o Amazon Simple Storage Service (Amazon S3), o DataSync converte automaticamente cada arquivo em um único objeto do S3, em uma relação de um para um, e preserva os metadados de POSIX de compartilhamentos do NFS ou HDFS como metadados de objetos do Amazon Simple Storage Service (Amazon S3). Quando você copia objetos que contêm metadados de sistema de arquivos de volta para os formatos de arquivo, os metadados do arquivo original copiados pelo DataSync para o S3 são restaurados.

O DataSync funciona de maneria nativa com serviços de segurança, monitoramento e auditoria da AWS para simplificar a movimentação de dados e fornecer experiência de gerenciamento consistente para suas equipes de TI, armazenamento e DevOps. Além das integrações com o Amazon Simple Storage Service (Amazon S3), Amazon EFS e Amazon FSx, o DataSync é compatível com endpoints da AWS Virtual Private Cloud (VPC) (desenvolvidos pelo AWS PrivateLink) para poder transferir arquivos diretamente à sua Amazon VPC. Como outros produtos da AWS, é possível utilizar o AWS Identity and Access Management (IAM) para gerenciar com segurança o acesso ao DataSync. Da mesma forma, você pode configurar uma função do IAM para controlar os serviços que acessam seu bucket do Amazon S3.

Com o Amazon CloudWatch, você pode monitorar o status de qualquer transferência do DataSync em andamento e conferir o histórico de transferências de dados anteriores. Com o CloudWatch Metrics, você pode ver o número de arquivos e a quantidade de dados copiados. Consulte o CloudWatch Logs para obter informações sobre arquivos individuais transferidos em um determinado momento, bem como os resultados da verificação de integridade do DataSync. Isso simplifica o monitoramento, a elaboração de relatórios e a solução de problemas, o que permite fornecer atualizações pontualmente às partes interessadas. Além disso, o CloudWatch Events é acionado na conclusão das tarefas de transferência, o que permite automatizar fluxos de trabalho dependentes. Para fins de auditoria, você pode consultar o AWS CloudTrail, que registra todas as ações executadas pelo DataSync.

Com o AWS DataSync, você paga apenas pelos dados copiados pelo serviço a uma taxa fixa por gigabyte. Não são necessárias licenças de software, contratos, taxas de manutenção, ciclos de desenvolvimento ou hardware. Isso fornece um custo total de propriedade (TCO) mais baixo em comparação com a construção, a operação e a otimização manuais de suas próprias transferências com script de alta performance, bem como custo total mais baixo do que comprar e executar ferramentas comerciais de transferência.

Usando o AWS DataSync Discovery, é possível executar trabalhos de descoberta por até 31 dias e receber recomendações gratuitamente. O DataSync Discovery mantém os dados coletados e as recomendações associadas por 60 dias após a conclusão do trabalho.