Geral

P: O que é o AWS DataSync?

R: O AWS DataSync é um serviço de transferência de dados online que simplifica, automatiza e acelera a cópia de grandes quantidades de dados entre sistemas de armazenamento e serviços de armazenamento da AWS como Amazon S3 e Amazon EFS, por meio da Internet ou do AWS Direct Connect.

P: Por que devo usar o AWS DataSync?

R: O AWS DataSync permite movimentar, copiar e sincronizar grandes conjuntos de dados com milhões de arquivos, sem necessidade de criar soluções personalizadas com ferramentas de código aberto nem de licenciar e gerenciar aplicativos comerciais caros de aceleração de rede. Você pode usar o DataSync para migração de dados ativos uma única vez, distribuição periódica para fluxos de trabalho de processamento de dados ou replicação contínua para continuidade de negócios.

P: Qual o problema que o AWS DataSync resolve?

R: O DataSync reduz a complexidade e o custo da transferência de dados online, simplificando a transferência de conjuntos de dados entre sistemas de armazenamento locais e o Amazon S3 ou o Amazon Elastic File System (EFS). O DataSync estabelece uma conexão com os sistemas de armazenamento e as fontes de dados existentes usando protocolos de armazenamento padrão (NFS ou SMB). Além disso, ele usa um protocolo de rede especialmente criado e uma arquitetura de escalabilidade horizontal para acelerar a transferência de/para a AWS. O DataSync escala e processa automaticamente todas as tarefas relacionadas à movimentação de dados, monitorando o progresso de transferências, criptografia e verificação de transferência de dados e notificando os clientes caso ocorra alguma falha. Com o DataSync, você paga apenas pela quantidade de dados copiada, sem compromissos mínimos ou taxas adiantadas.

P: As transferências podem ser feitas de/para quais locais?

R: O DataSync pode copiar dados de/em servidores NFS, compartilhamentos de arquivos SMB, buckets do Amazon S3 e sistemas de arquivos do Amazon EFS.

P: Posso usar o AWS DataSync para migrar dados para a AWS?

R: Sim. Você pode usar o DataSync para migrar de armazenamento local para o Amazon S3, o Amazon EFS e o Amazon WorkDocs. Leia o blog sobre armazenamento "Migrating storage with AWS DataSync" para obter dicas e melhores práticas de migração.

Uso

P: O que preciso fazer para começar a usar o AWS DataSync?

R: Com alguns cliques, você pode transferir dados usando o DataSync no Console de Gerenciamento da AWS ou por meio da Interface da Linha de Comando (ILC) da AWS. Para começar, implante um agente do DataSync, configure os locais de origem e destino do armazenamento e inicie uma tarefa de transferência de dados.

P: Como usar o AWS DataSync?

R: Para usar o DataSync, siga estas 3 etapas:

1. Implantar um agente: implante um agente do DataSync e associe-o à sua conta da AWS usando a API ou o console de gerenciamento. O agente será usado para acessar o servidor NFS ou o compartilhamento de arquivos SMB para leitura/gravação de dados.

2. Crie uma tarefa de transferência de dados: crie uma tarefa de transferência de dados especificando a localização da origem e do destino de dados, e quaisquer opções que deseja usar para configurar a transferência, como copiar os metadados do arquivo.

3. Iniciar a transferência: inicie a tarefa e monitore a movimentação de dados usando o console ou o Amazon CloudWatch.

P: Como implantar um agente do AWS DataSync?

R: O agente do DataSync é implantado no hipervisor VMware ESXi ou no Amazon EC2. Para copiar dados de/em um servidor local, faça download da imagem virtual de máquina do agente (um arquivo OVA) no Console AWS e implante-o no hipervisor VMware ESXi local. Para copiar dados de/em um servidor de arquivos na nuvem, você pode criar uma instância do Amazon EC2 da AMI do agente fornecida no Console AWS. Nos dois casos, é necessário implantar o agente para que ele possa acessar o servidor de arquivos usando o protocolo SMB ou o NFS.

P: Quais são os requisitos de recursos do agente do AWS DataSync?

R: Os recursos mínimos necessários para executar o agente estão relacionados aqui.

P: Como inicio uma tarefa de transferência de dados do AWS DataSync?

R: O DataSync copia dados quando você inicia uma tarefa usando o Console de Gerenciamento da AWS ou a Interface da Linha de Comando (ILC) da AWS. Em cada execução, a tarefa verifica a existência de alterações na origem e copia todas as diferenças entre a origem e o destino. Você pode configurar quais características da origem serão usadas para determinar as alterações, definir filtros para incluir e excluir pastas ou arquivos específicos, controlar se é necessário substituir os arquivos ou objetos no destino quando alterados ou excluí-los se não encontrados na origem.

P: Como o AWS DataSync pode garantir que meus dados estão sendo copiados corretamente? De que maneira ele conduz a verificação dos dados?

R: Enquanto transfere e armazena os dados, o DataSync executa verificações de integridade que determinam se os dados gravados no destino correspondem aos que estão sendo lidos na origem. Além disso, uma verificação opcional pode ser realizada para garantir que os dados armazenados no destino correspondam aos armazenados na origem calculando e comparando as somas de verificação dos arquivos completos. É possível verificar todo o conjunto de dados ou apenas os arquivos ou objetos que o DataSync transferiu.

P: Como posso monitorar o status dos dados que estão sendo transferidos pelo AWS DataSync?

R: Você pode usar o Console de Gerenciamento da AWS ou a ILC para monitorar o status desses dados. O Amazon CloudWatch Metrics pode ser usado para ver o número de arquivos e a quantidade de dados copiados. O Amazon CloudWatch Logs está disponível para fornecer informações detalhadas de erros. Além disso, o CloudWatch Events é acionado nas transições de estado das tarefas, o que permite automatizar fluxos de trabalho dependentes. Você pode encontrar informações adicionais sobre o progresso das transferências no Console de Gerenciamento da AWS ou na ILC.

P: Como o AWS DataSync converte pastas e arquivos em objetos do Amazon S3 e vice-versa?

R: Quando se copiam pastas e arquivos no Amazon S3, estabelece-se uma relação de um para um entre uma pasta ou arquivo e um objeto. Os carimbos de data/hora de metadados e as permissões POSIX das pastas e arquivos, inclusive os ID de usuário e de grupo, assim como as permissões, são armazenados nos metadados de usuário do S3. Os metadados de arquivos armazenados nos metadados de usuário do S3 podem interoperar com o File Gateway, permitindo acesso local baseado em arquivos aos dados armazenados no Amazon S3 pelo DataSync.

Quando o DataSync copia dados de um servidor NFS, as permissões POSIX das pastas e arquivos da origem são armazenadas nos metadados de usuário do S3. Quando ele copia dados de um compartilhamento de arquivos SMB, permissões POSIX padrão são armazenadas nos metadados de usuário do S3.

Quando o DataSync copia objetos que contêm esses metadados de usuário num servidor NFS, os metadados do arquivo são restaurados. Quando ele os copia num compartilhamento de arquivos SMB, a propriedade se define com base no usuário configurado no DataSync para acessar aquele compartilhamento para a atribuição das permissões padrão.

Saiba mais sobre como o DataSync armazena arquivos e metadados em nossa documentação.

P: Posso copiar meus dados para o Amazon S3 Glacier ou outras classes de armazenamento do S3?

R: Sim. Ao configurar um bucket do S3 para uso com o DataSync, é possível selecionar a classe de armazenamento do S3 que o DataSync usa para armazenar objetos. O DataSync é compatível com o armazenamento de dados diretamente no S3 Standard, S3 Intelligent-Tiering, S3 Standard-Infrequent Access (S3 Standard – IA), S3 One Zone-Infrequent Access (S3 One Zone – IA), Amazon S3 Glacier (S3 Glacier) e Amazon S3 Glacier Deep Archive (S3 Glacier Deep Archive). Mais informações sobre as classes de armazenamento do Amazon S3 podem ser encontradas no Guia do desenvolvedor do Amazon Simple Storage Service

Objetos menores que a capacidade de carga mínima por objeto serão armazenados no S3 Standard. Por exemplo, os objetos de pasta, com tamanho de zero bytes contendo apenas metadados, serão armazenados no S3 Standard. Leia sobre as considerações ao trabalhar com classes de armazenamento do Amazon S3 em nossa documentação. Para mais informações sobre os recursos de cobrança mínima, consulte a Definição de preço do Amazon S3

P: Quais os custos de solicitação e armazenamento do S3 se aplicam ao usar as classes de armazenamento do S3 com o AWS DataSync?

R: Algumas classes de armazenamento do S3 têm comportamentos que podem afetar seu custo, como recuperação de dados, recursos de armazenamento mínimo e durações mínimas de armazenamento. O DataSync automatiza o gerenciamento de dados para processar esses fatores e fornece as configurações para minimizar a recuperação de dados. Por exemplo, o DataSync verifica somente os arquivos que foram transferidos, armazena pequenos objetos no S3 Standard e tem controles para substituir e excluir objetos. Leia sobre as considerações ao trabalhar com classes de armazenamento do Amazon S3 em nossa documentação.

P: Posso copiar dados do S3 Glacier e outras classes de armazenamento?

A: Ao usar o S3 como local de origem para uma tarefa do DataSync, o serviço usará GetObject para recuperar todos os objetos do bucket que precisam ser copiados para o destino. Recuperar objetos que são arquivados no S3 Glacier ou em classes de armazenamento do S3 Glacier Deep Archive resulta em erro. A recuperação de objetos de outras classes de armazenamento será-bem sucedida, mas, para algumas classes de armazenamento, pode haver a cobrança de uma taxa de recuperação com base no tamanho dos objetos. Quaisquer erros na recuperação de objetos arquivos será registrada pelo DataSync e resultarão no status de falha na conclusão da tarefa. Leia sobre as considerações ao trabalhar com classes de armazenamento do Amazon S3 em nossa documentação.

P: Posso usar o versionamento, o ciclo de vida, a replicação entre regiões e a notificação de eventos do S3 com o AWS DataSync?

R: Sim. As políticas do bucket para versionamento, gerenciamento do ciclo de vida, replicação entre regiões e notificação de eventos do S3 são aplicadas diretamente aos objetos transferidos para o bucket por meio do DataSync.

Ao usar o versionamento, observe que as alterações nos metadados de objetos criarão uma nova versão do objeto.

É possível usar as políticas de ciclo de vida do S3 para alterar a camada de armazenamento de um objeto ou excluir versões de objetos ou objetos antigos.

P: O que acontece se uma tarefa do AWS DataSync for interrompida?

R: Se uma tarefa for interrompida (por exemplo, se a conexão de rede cair ou se o agente do DataSync for reiniciado), a execução seguinte dessa tarefa transferirá os arquivos que faltam. Os dados estarão completos e consistentes após essa execução. Cada vez que uma tarefa é iniciada, ele executa uma cópia incremental, transferindo para o destino apenas o que difere na origem.

P: Posso usar o AWS DataSync com o AWS Direct Connect?

R: Sim. Você pode usar o DataSync com seu link do Direct Connect para acessar endpoints de serviços públicos ou VPC endpoints privados. A usar os VPC endpoints, os dados transferidos entre o agente do DataSync e os produtos da AWS não passam pela Internet pública nem usam endereços IP públicos, o que aumenta a segurança dos dados durante a cópia pela rede.

P: O AWS DataSync é compatível com VPC endpoints ou com o AWS PrivateLink?

R: Sim. Você pode usar VPC endpoints para evitar que os dados transferidos pelo agente do DataSync, seja implantado no local ou na nuvem, passem pela Internet pública ou precisem de endereços IP públicos. O uso de VPC endpoints aumenta a segurança de seus dados porque mantêm o tráfego de rede restrito à Amazon Virtual Private Cloud (Amazon VPC). Os VPC endpoints do DataSync são desenvolvidos pelo AWS PrivateLink, uma tecnologia escalável altamente disponível que permite a conexão privada entre uma VPC e os serviços da AWS compatíveis.

P: Como configurar o AWS DataSync para usar VPC endpoints?

R: Para usar VPC endpoints com o DataSync, basta criar um VPC endpoint de interface do AWS PrivateLink para o serviço do DataSync na VPC de sua escolha. Depois, selecione a interface de rede elástica (ENI) desse endpoint ao criar seu agente do DataSync. O agente se conectará a essa ENI na ativação e, a partir desse momento, todos os dados transferidos por ele permanecerão dentro da VPC configurada. Para configurar VPC endpoints, você pode usar o console do AWS DataSync, a interface da linha de comando da AWS (ILC) ou o AWS SDK. Para saber mais, consulte Using AWS DataSync in a Virtual Private Cloud.

P: O AWS DataSync preserva a estrutura do diretório de origem quando transfere os arquivos?

R: Sim. Na transferência de arquivos, o DataSync cria uma estrutura de diretório no destino que é similar à estrutura do local de origem.

Performance

P: Qual a velocidade do DataSync para copiar um sistema de arquivos na AWS?

R: A velocidade da cópia de um conjunto de dados específico pelo DataSync varia em função da quantidade de dados, da largura de banda de E/S nos armazenamentos de origem e de destino, da largura de banda disponível e das condições da rede. Um único agente do DataSync consegue saturar um link de rede de 10 Gbps.

P: Posso controlar o volume da largura de banda da rede usada por uma tarefa do AWS DataSync?

R: Sim. Você pode controlar o volume da largura de banda de rede usada pelo DataSync configurando o controle de utilização de largura de banda integrado. Esse recurso ajuda a reduzir o impacto sobre outros usuários ou aplicativos que dependem da mesma conexão de rede.

P: O AWS DataSync afeta a performance do sistema de arquivos de origem?

R: Dependendo da capacidade do armazenamento local de arquivos e da quantidade e tamanho dos arquivos a serem transferidos, o DataSync pode afetar o tempo de resposta de outros clientes que acessam o mesmo datastore de origem, pois o agente lê/grava dados nesse sistema de armazenamento. A configuração de um limite de largura de banda para uma tarefa reduzirá esse impacto, limitando a E/S no sistema de armazenamento.

Segurança e conformidade

P: Os dados são criptografados durante a transferência e o armazenamento?

R: Sim. Todos os dados transferidos entre a origem e o destino são criptografados por meio do Transport Layer Security (TLS, que substituiu o Secure Sockets Layer, SSL). Os dados nunca são persistidos no próprio DataSync. O serviço oferece suporte ao uso de criptografia padrão para buckets do S3 e criptografia de sistemas de arquivos do Amazon EFS para dados ociosos.

P: Como o AWS DataSync acessa meu servidor NFS e meu compartilhamento de arquivos SMB?

R: Para acessar sistemas de arquivos por meio do protocolo NFS ou SMB, o DataSync usa agentes implantados no seu ambiente de TI ou no Amazon EC2. Esses agentes se conectam aos endpoints de serviço da AWS e, uma vez ativados, são gerenciados com segurança no Console de Gerenciamento da AWS ou na ILC. Na cópia de dados de/em seu ambiente local, não é preciso configurar uma VPN ou um túnel nem permitir conexões de entrada. Os agentes podem ser configurados para roteamento através de um firewall usando portas de rede padrão. Você também pode implantar o DataSync em sua Amazon Virtual Private Cloud (Amazon VPC) usando VPC endpoints. A usar os VPC endpoints, os dados transferidos entre o agente do DataSync e os produtos da AWS não precisam passar pela Internet pública nem usar endereços IP públicos.

P: Como meus agentes do AWS DataSync se conectam à AWS?

R: Seus agentes do DataSync se conectam aos endpoints de serviço da região da AWS que você selecionar. Ao criar um agente, você pode fazer com que ele se conecte a endpoints voltados para a internet pública, endpoints validados pelos Federal Information Processing Standards (FIPS – Padrões de processamento de informação federal) ou endpoints em uma das suas VPCs. Para saber mais, consulte Escolher um endpoint de serviço.

P: Como o AWS DataSync acessa um bucket do Amazon S3?

R: O Datasync assume uma função do IAM que você fornecer. A política que você anexar à função determina quais ações essa função pode executar. O DataSync pode gerar automaticamente essa função em seu nome ou você pode configurar uma função manualmente.

P: Como o AWS DataSync acessa um sistema de arquivos do Amazon EFS?

R: O DataSync acessa sistemas de arquivos do Amazon EFS usando o protocolo NFS. Esse acesso é feito montando o sistema de arquivos de dentro da VPC em interfaces de rede elástica (ENIs) gerenciadas pelo serviço DataSync. O DataSync gerencia a criação, o uso e a exclusão dessas ENIs para você.

P: Com quais programas de conformidade o AWS DataSync é compatível?

R: A AWS tem o programa de conformidade ativo há mais tempo na nuvem e empenha-se em ajudar os clientes a conhecer seus requisitos. O DataSync foi avaliado e cumpre padrões de segurança globais e setoriais. O serviço está em conformidade com os padrões PCI DSS; ISO 9001, 27001, 27017 e 27018; SOC 1, 2 e 3; além de ser qualificado pela HIPAA. Isso facilita a verificação da nossa segurança e o cumprimento de suas próprias obrigações. Para obter mais informações e recursos, acesse as nossas páginas de conformidade. Você também pode acessar a página Serviços em foco do programa de conformidade para ver a lista completa de serviços e certificações.

P: O AWS DataSync está em conformidade com o PCI?

R: Sim. O DataSync obedece ao PCI-DSS, o que significa que você pode usar o serviço para transferir informações de pagamento. Faça download do pacote de conformidade do PCI no AWS Artifact para informar-se sobre como alcançar a conformidade com o PCI na AWS.

P: O AWS DataSync é qualificado pela HIPAA?

R: Sim. O DataSync é qualificado pela HIPAA, o que significa que, se tiver um BAA da HIPAA com a AWS, você poderá usar o DataSync para transferir Protected Health Information (PHI – Informações de saúde protegidas).

P: Como meu agente do DataSync recebe patches e atualizações?

R: As atualizações na VM do agente, incluindo o sistema operacional subjacente e os pacotes de software do DataSync, são gerenciadas pelo serviço quando o agente é ativado. As atualizações são aplicadas sem causar interrupções quando o agente está ocioso e não quando está executando uma tarefa de transferência de dados.

Quando escolher o AWS DataSync

P: Qual é a diferença entre o AWS DataSync e ferramentas de linha de comando como rsync e sync do S3?

R: Em comparação a soluções internas criadas usando ferramentas da linha de comando, o DataSync fornece transferências de dados automatizadas e gerenciadas. O serviço usa um protocolo de rede de uso específico e uma arquitetura com escalabilidade horizontal para transferir dados com velocidades até 10 vezes maiores.

Especificamente, o DataSync automatiza totalmente a transferência de dados. O serviço inclui mecanismos incorporados de novas tentativas e resiliência de rede, monitoramento por meio da API e do console do DataSync e métricas, eventos e logs do CloudWatch, que fornecem visibilidade detalhada do processo de transferência. O DataSync executa verificação de integridade de dados durante e ao final da transferência. Além disso, o serviço oferece configurações flexíveis para adequação a necessidades específicas, incluindo controle de utilização de largura de banda, cópia de permissões e metadados da origem etc.

O DataSync oferece segurança completa: todos os dados transferidos entre a origem e o destino são criptografados via TLS. O acesso ao armazenamento da AWS é habilitado mediante mecanismos de segurança incorporados da AWS, como funções do IAM.

P:  Como escolher entre o AWS DataSync e o AWS Snowball Edge?

R: O AWS Snowball Edge é adequado para clientes que não precisam da disponibilidade imediata de seus dados na AWS, têm restrições de largura de banda ou transferem dados de ambientes remotos, desconectados ou severos. O DataSync é ideal para clientes que precisam de migrações online para conjuntos de dados ativos, transferências em tempo hábil de dados gerados continuamente ou replicação para continuidade de negócios.

P:  Como escolher entre o AWS DataSync e o AWS Storage Gateway?

R: Se você pretende transferir dados entre o ambiente local e o armazenamento da AWS, como S3 ou EFS, use o DataSync. Normalmente, o DataSync é usado para migração de armazenamento ou para transferências recorrentes de dados de dispositivos locais, como câmeras e instrumentos, para processamento na AWS. Se você precisa de acesso de baixa latência a dados no local na AWS, use o AWS Storage Gateway. Normalmente, o Storage Gateway é usado para backups, cargas de trabalho híbridas, aplicativos no local com requisitos de baixa latência, distribuição de conteúdo entre escritórios e acesso baseado em arquivos a objetos no S3.

Com a combinação do DataSync com a configuração de File Gateway do Storage Gateway, você pode mover rapidamente armazenamento no local para a AWS, mantendo o acesso no local para aplicativos com requisitos de baixa latência.

P: Como escolher entre o AWS DataSync e o Amazon S3 Transfer Acceleration?

R: Se os aplicativos já estiverem integrados à API do Amazon S3 e você quiser aumentar o throughput da transferência de arquivos grandes para o S3, poderá usar o S3 Transfer Acceleration. Se você quiser transferir dados de sistemas de armazenamento existentes (por exemplo, Network Attached Storage) ou de instrumentos que não podem ser alterados (por exemplo, sequenciadores de DNA, câmeras de vídeo), ou se quiser usar vários destinos, use o DataSync. Além disso, o DataSync automatiza e simplifica a transferência de dados fornecendo funcionalidades adicionais, como mecanismos incorporados de novas tentativas e resiliência, verificação de integridade de dados e configurações flexíveis, para atender a necessidades específicas como controle de utilização de largura de banda, cópia de permissões e metadados da origem etc.

P: Como escolher entre o AWS DataSync e o AWS Transfer for SFTP?

R: Se você já usa o SFTP para intercâmbio de dados com terceiros, o Transfer for SFTP propicia transferência gerenciada via SFTP diretamente de/para o Amazon S3, reduzindo a sobrecarga operacional.

Se quiser uma transferência de dados acelerada e automatizada entre servidores NFS, compartilhamentos de arquivos SMB, Amazon S3 e Amazon EFS, você pode usar o DataSync. O DataSync é ideal para clientes que precisam de migrações online para conjuntos de dados ativos, transferências em tempo hábil de dados gerados continuamente ou replicação para continuidade de negócios. 

P: O AWS DataSync me permite migrar para o WorkDocs?

R: Sim. O DataSync faz parte do serviço de migração do Amazon WorkDocs. Ele facilita e agiliza a migração de diretórios iniciais e compartilhamentos departamentais para o WorkDocs.

Saiba mais sobre a definição de preço do DataSync
Saiba mais sobre a definição de preço

O AWS DataSync tem uma definição de preço simples, previsível e baseada no uso. Você paga apenas pela quantidade de dados copiada.  

Saiba mais 
Cadastre-se para obter uma conta da AWS
Cadastre-se para obter uma conta gratuita

Obtenha acesso instantâneo ao nível gratuito da AWS. 

Cadastrar-se 
Comece a usar o DataSync no console
Comece a mover dados no console

Comece a criar com o AWS DataSync no Console AWS.

Faça login