Geral

P: O que é o AWS DataSync?

R: O AWS DataSync é um serviço de transferência de dados online que simplifica, automatiza e acelera a cópia de grandes quantidades de dados entre sistemas de armazenamento e serviços de armazenamento da AWS como Amazon S3 e Amazon EFS, por meio da Internet ou do AWS Direct Connect.

P: Por que devo usar o AWS DataSync?

R: O AWS DataSync permite movimentar, copiar e sincronizar grandes conjuntos de dados com milhões de arquivos, sem necessidade de criar soluções personalizadas com ferramentas de código aberto ou licenciar e gerenciar software comercial de aceleração de rede de alto custo. Você pode usar o DataSync para migração de dados ativos uma única vez, distribuição periódica para fluxos de trabalho de processamento de dados ou replicação contínua para continuidade de negócios.

P: Qual o problema resolvido pelo DataSync?

R: O DataSync reduz a complexidade e o custo da transferência de dados online, simplificando a transferência de conjuntos de dados entre sistemas de armazenamento locais e o Amazon S3 ou o Amazon Elastic File System (EFS). O DataSync estabelece uma conexão a sistemas de armazenamento e fontes de dados existentes usando um protocolo de armazenamento padrão (NFS) e usa um protocolo de rede especialmente criado e uma arquitetura de escalabilidade horizontal para acelerar a transferência de/para a AWS. O DataSync escala e processa automaticamente todas as tarefas relacionadas à movimentação de dados, monitorando o progresso de transferências, criptografia e validação de transferência de dados e notificando os clientes caso ocorra qualquer falha. Com o DataSync, você paga apenas pela quantidade de dados copiada, sem compromissos mínimos ou taxas adiantadas.

P: As transferências podem ser feitas de/para quais locais?

R: O DataSync pode copiar dados entre servidores NFS, buckets do Amazon S3 e sistemas de arquivos do Amazon EFS.

Configuração

P: Como começo a usar o DataSync?

R: Você pode transferir dados usando o DataSync com alguns cliques no Console de Gerenciamento da AWS ou por meio da Interface da Linha de Comando (ILC) da AWS. Para começar a usar, você implanta um agente do DataSync, configura os locais de armazenamento de origem e destino e inicia a cópia.

P: Como implanto um agente do DataSync?

R: Você implanta um agente do DataSync no hipervisor VMware ESXi ou no Amazon EC2. Para copiar dados de/para um servidor NFS local, você faz download do OVA do Console AWS e o implanta no hipervisor VMware ESXi local. Para copiar dados de/para um servidor NFS na nuvem, você pode criar uma instâncias do Amazon EC2 da AMI fornecida. Nos dois casos, o agente deve ser implantando para que possa acessar o servidor NFS.

P: Quais são os requisitos de recursos do agente do DataSync?

R: Você pode encontrar os recursos mínimos necessários para executar o agente aqui.

Uso

P: Como uso o DataSync?

R: Para usar o DataSync, siga estas três etapas:

1. Implante um agente: implante um agente do DataSync e associe-o à sua conta da AWS usando o console de gerenciamento ou a API. O agente será usado para acessar o servidor NFS para leitura/gravação de dados.

2. Crie uma tarefa de transferência de dados: crie uma tarefa de transferência de dados especificando a localização da origem e do destino de dados, e quaisquer opções que deseja usar para configurar a transferência, como copiar os metadados do arquivo.

3. Inicie a transferência: inicie a tarefa e monitore o movimento de dados usando o console ou o Amazon CloudWatch.

P: Como posso iniciar uma tarefa do DataSync?

R: O DataSync copia dados quando você inicia uma tarefa usando o Console de Gerenciamento da AWS ou a Interface da Linha de Comando (ILC) da AWS. Em cada execução, a tarefa verifica a existência de alterações na origem e copia todas as diferenças entre a origem e o destino. Você pode configurar quais características da origem serão usadas para determinar as alterações, definir filtros para incluir e excluir arquivos ou pastas específicos, e se arquivos ou objetos no destino deverão ser excluídos se não forem encontrados na origem.

P: Como o DataSync executa a validação da integridade dos dados?

R: O DataSync executa a verificação da integridade dos dados durante a transferência e ao final da transferência (comparação de soma de verificação entre arquivos de origem e destino e comparação de metadados de arquivos).

P: Como posso monitorar o status dos dados sendo transferidos pelo DataSync?

R: Você pode usar o Console de Gerenciamento da AWS ou a ILC para monitorar o status dos dados sendo transferidos. O Amazon CloudWatch Metrics pode ser usado para ver o número de arquivos e a quantidade de dados copiados. O Amazon CloudWatch Logs está disponível para fornecer informações detalhadas de erros. Além disso, o CloudWatch Events é acionado nas transições de estado das tarefas, o que permite automatizar fluxos de trabalho dependentes. Você pode encontrar informações adicionais sobre o progresso das transferências no Console de Gerenciamento da AWS ou na ILC.

P: Na transferência de arquivos de/para o Amazon S3, como o DataSync mapeia arquivos e objetos?

R: Quando os arquivos são copiados para objetos, há uma relação de um para um entre um arquivo e um objeto. Os metadados do sistema de arquivos são armazenados nos metadados do usuário do S3. Os metadados são restaurados quando objetos que contêm metadados de sistemas de arquivos são copiados para arquivos.

P: Quais metadados são preservados pelo DataSync na transferência de dados?

R: O DataSync preserva metadados do POSIX como ID de usuário, ID de grupo e permissões para garantir que os arquivos possam ser restaurados para o local original sem perder esses metadados. Além disso, no armazenamento de metadados do POSIX de arquivos para objetos no S3, os metadados são interoperáveis com o File Gateway.

P: Posso usar o versionamento, o ciclo de vida, a replicação entre regiões e a notificação de eventos do S3 com o DataSync?

R: Sim. As políticas do bucket para versionamento, gerenciamento do ciclo de vida, replicação entre regiões e notificação de eventos do S3 são aplicadas diretamente aos objetos transferidos para o bucket por meio do DataSync.

Ao usar o versionamento, observe que as alterações nos metadados de objetos criarão uma nova versão do objeto.

É possível usar as políticas de ciclo de vida do S3 para alterar a camada de armazenamento de um objeto ou excluir versões de objetos ou objetos antigos.

P: O que acontece se uma tarefa do DataSync é interrompida?

R: Se uma tarefa é interrompida (por exemplo, se a conexão de rede cair ou o agente do DataSync for reiniciado), a próxima execução da tarefa transferirá os arquivos faltantes e os dados estarão completos e consistentes após a execução dessa tarefa. A cada vez que uma tarefa é iniciada, executa uma cópia incremental, transferindo apenas as alterações da origem para o destino.

P: Posso usar o DataSync com o AWS Direct Connect?

R: Sim. Você pode usar o DataSync com o seu link do Direct Connect para acessar endpoints públicos da Internet sem qualquer configuração especial.

P: O DataSync preserva a estrutura do diretório de origem quando transfere os arquivos?

R: Sim. Na transferência de arquivos, o DataSync cria uma estrutura de diretório no destino que é similar à estrutura do local de origem.

Performance

P:  Qual a velocidade do DataSync para copiar um sistema de arquivos para a AWS?

R: A velocidade da cópia de um conjunto de dados específico pelo DataSync varia em função da quantidade de dados, da largura de banda de E/S obtida do armazenamento de origem e de destino, da largura de banda disponível e das condições da rede. Um único agente do DataSync consegue saturar um link de rede de 10 Gbps.

P:  Posso controlar a quantidade de largura de banda de rede usada pela tarefa do DataSync?

R: Sim. Você pode controlar a quantidade de largura de banda de rede usada pelo DataSync configurando o controle de utilização de largura de banda incorporado. Esse recurso ajuda a reduzir o impacto sobre os outros usuários ou aplicativos que dependem da mesma conexão de rede.

P:  O DataSync afetará a performance do sistema de arquivos de origem?

R: Dependendo da capacidade do armazenamento de arquivos local e da quantidade e do tamanho dos arquivos a serem transferidos, o DataSync pode afetar o tempo de resposta de outros clientes que acessam o mesmo datastore de origem, pois o agente lê/grava dados nesse sistema de armazenamento. A configuração de um limite de largura de banda para uma tarefa reduzirá esse impacto, limitando a E/S no sistema de armazenamento.

Segurança e conformidade

P: Os dados são criptografados durante a transferência e o armazenamento?

R: Sim. Todos os dados transferidos entre a origem e o destino são criptografados por meio do Transport Layer Security (TLS, que substituiu o Secure Sockets Layer, SSL). Os dados nunca são persistidos no próprio DataSync. O serviço oferece suporte ao uso de criptografia padrão para buckets do S3 e criptografia de sistema de arquivos do Amazon EFS para dados ociosos.

P: Como o DataSync acessa o sistema de arquivos do NFS?

R: O DataSync usa agentes implantados no seu ambiente de TI ou no Amazon EC2 para acessar sistemas de arquivos por meio do protocolo NFS. Esses agentes se conectam aos endpoints de serviço do DataSync na AWS e, uma vez ativados, são gerenciados com segurança no Console de Gerenciamento da AWS ou na ILC. Na cópia de dados de/para o ambiente local, não é preciso configurar uma VPN ou um túnel nem permitir conexões de entrada. Os agentes podem ser configurados para rotear através de um firewall usando portas de rede padrão.

P: Como o DataSync acessa um bucket do Amazon S3?

R: O DataSync acessa um bucket do Amazon S3 usando a função do IAM que você configurar.

P: Como o DataSync acessa o sistema de arquivos do Amazon EFS?

R: O DataSync acessa o sistema de arquivos do Amazon EFS usando o protocolo NFS. Esse acesso é feito montando o sistema de arquivos de dentro da VPC em interfaces de rede elástica (ENIs) gerenciadas pelo serviço DataSync. O DataSync gerencia a criação, o uso e a exclusão dessas ENIs para você.

P:  Com quais programas de conformidade o DataSync é compatível?

R: A AWS tem o programa de conformidade ativo há mais tempo na nuvem e está comprometida a ajudar os clientes a percorrer seus requisitos. O DataSync foi avaliado e cumpre padrões de segurança globais e setoriais. O serviço está em conformidade com os padrões PCI DSS; ISO 9001, 27001, 27017 e 27018; SOC 1, 2 e 3; além de ser qualificado pela HIPAA. Isso facilita a verificação da nossa segurança e o cumprimento de suas próprias obrigações. Para obter mais informações e recursos, acesse as nossas páginas de conformidade. Você também pode acessar a página Serviços da AWS no escopo pelo programa de conformidade para ver uma lista completa de serviços e certificações.

P:  O DataSync está em conformidade com o PCI?

R: Sim. O DataSync está em conformidade com o PCI-DSS, o que significa que você pode usar o serviço para transferir informações de pagamento. Você pode fazer download do pacote de conformidade do PCI no AWS Artifact para saber mais sobre como alcançar a conformidade com o PCI na AWS.

P:  O DataSync é qualificado pela HIPAA?

R: Sim. O DataSync é qualificado pela HIPAA, o que significa que, se você tiver um BAA da HIPAA com a AWS, poderá usar o DataSync para transferir Protected Health Information (PHI – Informações de saúde protegidas).

Quando escolher o AWS DataSync

P:  Qual é a diferença entre o DataSync e as ferramentas da linha de comando como rsync ou sync do S3?

R: Em comparação a soluções internas criadas usando ferramentas da linha de comando, o DataSync fornece transferências de dados automatizadas e gerenciadas. O serviço usa um protocolo de rede de uso específico e uma arquitetura com escalabilidade horizontal para transferir dados com velocidades até 10 vezes maiores.

Especificamente, o DataSync automatiza totalmente a transferência de dados. O serviço inclui mecanismos incorporados de novas tentativas e resiliência de rede, monitoramento por meio da API e do console do DataSync e métricas, eventos e logs do CloudWatch, que fornecem visibilidade detalhada do processo de transferência. O DataSync executa verificação de integridade de dados durante e ao final da transferência. Além disso, o serviço oferece configurações flexíveis para adequação a necessidades específicas, incluindo controle de utilização de largura de banda, cópia de permissões e metadados da origem etc.

O DataSync oferece segurança completa: todos os dados transferidos entre a origem e o destino são criptografados via TLS. O acesso ao armazenamento da AWS é habilitado mediante mecanismos de segurança incorporados da AWS, como funções do IAM.

P:  Como escolher entre o AWS DataSync e o AWS Snowball Edge?

R: O AWS Snowball Edge é adequado para clientes que não precisam da disponibilidade imediata de seus dados na AWS, têm restrições de largura de banda ou transferem dados de ambientes remotos, desconectados ou severos. O DataSync é ideal para clientes que precisam de migrações online para conjuntos de dados ativos, transferências em tempo hábil para dados gerados continuamente ou replicação para continuidade de negócios.

P:  Como escolher entre o AWS DataSync e o AWS Storage Gateway?

R: Se você pretende transferir dados entre o ambiente local e o armazenamento da AWS, como S3 ou EFS, use o DataSync. Normalmente, o DataSync é usado para migração de armazenamento ou para transferências recorrentes de dados de dispositivos locais, como câmeras e instrumentos, para processamento na AWS. Se você precisa de acesso de baixa latência a dados locais na AWS, use o AWS Storage Gateway. Normalmente, o Storage Gateway é usado para backups, cargas de trabalho híbridas, aplicativos locais com requisitos de baixa latência, distribuição de conteúdo entre escritórios e acesso baseado em arquivos a objetos no S3.

Com a combinação do DataSync com a configuração de File Gateway do Storage Gateway, você pode mover rapidamente armazenamento local para a AWS, mantendo o acesso local para aplicativos com requisitos de baixa latência.

P: Como escolher entre o AWS DataSync e o Amazon S3 Transfer Acceleration?

R: Se os aplicativos já estiverem integrados à API do Amazon S3 e você quiser aumentar o throughput da transferência de arquivos grandes para o S3, poderá usar o S3 Transfer Acceleration. Se você quiser transferir dados de sistemas de armazenamento existentes (por exemplo, Network Attached Storage) ou de instrumentos que não podem ser alterados (por exemplo, sequenciadores de DNA, câmeras de vídeo), ou se quiser usar vários destinos, use o DataSync. Além disso, o DataSync automatiza e simplifica a transferência de dados fornecendo funcionalidades adicionais, como mecanismos incorporados de novas tentativas e resiliência, verificação de integridade de dados e configurações flexíveis, para atender a necessidades específicas como controle de utilização de largura de banda, cópia de permissões e metadados da origem etc.

P: Como escolher entre o AWS DataSync e o AWS Transfer for SFTP?

R: Se você já usa o SFTP para trocar dados com terceiros, oi Transfer for SFTP oferece uma transferência gerenciada via SFTP diretamente de/para o Amazon S3, reduzindo a sobrecarga operacional.

Se você quiser uma transferência de dados acelerada e automatizada entre o NFS, o Amazon S3 e o Amazon EFS, poderá usar o DataSync. O DataSync é ideal para clientes que precisam de migrações online para conjuntos de dados ativos, transferências em tempo hábil para dados gerados continuamente ou replicação para continuidade de negócios. 

Uso de DataSync para migrações

P:  Como uso o DataSync para migrações?

R: Você pode usar o DataSync para migrar de armazenamento local para o Amazon S3, o Amazon EFS e o WorkDocs. Você pode saber mais sobre o fluxo de migração recomendado aqui.

P:  Como uso o DataSync para migrar para o WorkDocs?

R: O DataSync faz parte do serviço de migração do Amazon WorkDocs. O DataSync facilita e agiliza a migração de diretórios iniciais e compartilhamentos departamentais para o WorkDocs.

Saiba mais sobre a definição de preço do DataSync
Saiba mais sobre a definição de preço

O AWS DataSync tem uma definição de preço simples, previsível e baseada no uso. Você paga apenas pela quantidade de dados copiada.  

Saiba mais 
Cadastre-se para obter uma conta da AWS
Cadastre-se para obter uma conta gratuita

Obtenha acesso instantâneo ao nível gratuito da AWS. 

Cadastrar-se 
Comece a usar o DataSync no console
Comece a mover dados no console

Comece a criar com o AWS DataSync no Console AWS.

Faça login