Nova funcionalidade no AWS DataSync: Mova dados entre a AWS e outros locais públicos

aws ssm get-parameter --name /aws/service/datasync/ami --region us-east-1

{
    “Parâmetro”: {
        “Nome”: “/aws/service/datasync/ami”,
        “Tipo”: “Corda”,
        “Valor”: “ami-0e244fe801cf5a510",
        “Versão”: 54,
        “Data da última modificação”: “2021-05-11T 14:08:09 .319000+ 01:00 “,
        “ARN”: “arn:aws:ssm:us-east-1: :parameter/aws/service/datasync/ami”,
        “DataType”: “texto”
    }
}

Usando o console do EC2, inicio uma instância do EC2 com o ID da AMI especificado na propriedade Value do parâmetro. Para configuração de rede, eu uso uma sub-rede pública e a opção de atribuir automaticamente um endereço IP público. A instância do EC2 precisa acessar as redes da origem e do destino de uma tarefa de transferência de dados. Outro requisito para a instância é poder receber tráfego HTTP do DataSync para ativar o agente.

Ao usar o AWS DataSync em uma nuvem privada virtual (VPC) baseada no serviço Amazon VPC, é uma boa prática. No console VPC, seleciono Endpoints no painel de navegação e, em seguida, Create endpoint. Eu insiro um nome para o endpoint e seleciono a categoria de serviços da AWS.

Na seção Serviços, procuro o DataSync.

Em seguida, seleciono a mesma VPC em que iniciei a instância do EC2.

Para reduzir o tráfego entre as zonas de disponibilidade (Cross-AZ), eu escolho a mesma sub-rede usada para a instância do EC2.

O agente DataSync em execução na instância do EC2 precisa de acesso de rede ao endpoint VPC. Para simplificar, eu uso o grupo de segurança padrão da VPC para ambos. Eu crio o endpoint VPC e, após alguns minutos, ele está pronto para uso.

No console do AWS DataSync, seleciono Agentes no painel de navegação e, em seguida, Create agent. Eu seleciono Amazon EC 2 para o hipervisor.

Eu escolho os endpoints VPC usando o AWS PrivateLink (endpoints VPC usando o AWS PrivateLink) para o tipo de endpoint (tipo de endpoint). Eu seleciono o endpoint VPC que criei anteriormente, a mesma sub-rede (sub-rede) e o mesmo grupo de segurança que usei para o endpoint VPC.

Eu escolho a opção Obter automaticamente a chave de ativação e digito o IP público da instância do EC2. Em seguida, eu escolho Obter chave.

Depois que o agente DataSync é ativado, não preciso mais do acesso HTTP e o removo dos grupos de segurança da instância do EC2. Agora que o agente do DataSync está ativo, posso configurar tarefas e locais para mover meus dados.

Transferência de dados do Google Cloud Storage para o Amazon S3

Tenho algumas imagens em um bucket do Google Cloud Storage e quero sincronizar esses arquivos com um bucket do S3. No console do Google Cloud, abro a configuração do bucket. Lá, crio uma conta de serviço com permissões do Storage Object Viewer e anoto as credenciais (chave de acesso e segredo) para acessar o bucket de forma programática.

De volta ao console do AWS DataSync, seleciono Tarefas e, em seguida, Criar tarefa.

Para configurar a origem da tarefa, eu crio um local. Eu seleciono Armazenamento de objetos para o tipo de localização e escolho o agente que acabei de criar. Para o servidor, eu uso storage.googleapis.com. Em seguida, insiro o nome do bucket do Google Cloud e a pasta em que minhas imagens estão armazenadas.

Na seção Autenticação, insiro a chave de acesso e o segredo que anotei quando criei a conta de serviço. Eu escolho Avançar (próximo).

Para configurar o destino da tarefa, eu crio outro local. Desta vez, seleciono Amazon S3 como o tipo de localização. Eu escolho o bucket S3 de destino e entro em uma pasta que será usada como prefixo para os arquivos transferidos para o bucket. Eu uso o botão Gerar automaticamente para criar a que concederá permissões ao DataSync para acessar o bucket do S3.

Na próxima etapa, defino as configurações da tarefa. Eu insiro um nome para a tarefa. Opcionalmente, posso ajustar a forma como o DataSync verifica a integridade dos dados transferidos ou aloca a largura de banda para a tarefa.

Também posso escolher quais dados digitalizar e quais transferir. Por padrão, todos os dados de origem são escaneados e somente os dados alterados são transferidos. Na seção Configurações adicionais, eu desativo a opção Copiar tag de objeto porque o Google Cloud Storage atualmente não oferece suporte a tags.

Posso selecionar a programação usada para executar essa tarefa. Por enquanto, estou deixando em Não agendado e vou iniciá-lo manualmente.

Para registrar ou registrar, eu uso o botão Gerar automaticamente para criar um grupo de registros para o DataSync. Eu escolho Avançar (próximo).

Eu reviso as configurações e crio a tarefa. Agora eu começo a tarefa de transferir dados do console. Depois de alguns minutos, os arquivos são sincronizados com meu bucket do S3 e eu posso acessá-los no console do S3.

Movendo dados dos arquivos do Azure para o Amazon FSx for Windows File Server

Eu tiro muitas fotos e também tenho algumas imagens em um arquivo compartilhado do Azure. Quero sincronizar esses arquivos com um sistema de arquivos Amazon FSx para Windows. No console do Azure, seleciono o compartilhamento de arquivos e clico no botão Conectar para gerar um script do PowerShell que verifica se essa conta de armazenamento pode ser acessada pela rede.

$connectTestResult = Test-NetConnection - Nome do computador <SMB_SERVER>- Porta 445
se ($connectTestResult.tcpTestSucceeded) {
    # Salve a senha para que a unidade persista na reinicialização
    cmd.exe /C “cmdkey /add: `"danilopsync.file.core.windows.net`” /usuário: `"localhost\ <USER>`” /pass:<PASSWORD>`”
    # Monte a unidade
    New-PSDrive -Nome Z -PSProvider FileSystem -Root “\\ danilopsync.file.core.windows.net\<SHARE_NAME>" -Persist
} senão {
    Erro de gravação - Mensagem “Não é possível acessar a conta de armazenamento do Azure pela porta 445. Verifique se sua organização ou ISP não está bloqueando a porta 445 ou use o Azure P2S VPN, o Azure S2S VPN ou o Express Route para tunelar o tráfego SMB em uma porta diferente.”
}

A partir desse script, obtenho as informações necessárias para configurar a localização do DataSync:

• Servidor SMB (servidor SMB)
• Nome do compartilhamento (nome do recurso compartilhado)
• Usuário (usuário)
• Senha

De volta ao console do AWS DataSync, seleciono Tarefas e, em seguida, Criar tarefa.

Para configurar a origem da tarefa, eu crio um local. Eu seleciono o Bloco de Mensagens do Servidor (SMB) para o Tipo de Local e o agente que criei anteriormente. Em seguida, uso as informações que encontrei no script para inserir o endereço do servidor SMB (servidor SMB), o nome do compartilhamento (nome do recurso compartilhado) e o usuário/senha (usuário/senha) que usarei para autenticação.

Para configurar o destino da tarefa, eu recrio um local. Desta vez, escolho o Amazon FSx para o tipo de localização. Eu seleciono um sistema de arquivos FSx para Windows que eu criei anteriormente e uso o nome padrão do recurso compartilhado. Eu uso o grupo de segurança padrão para me conectar ao sistema de arquivos. Como eu uso o AWS Directory Service for Microsoft Active Directory com FSx for Windows File Server, eu uso as credenciais de um usuário que é membro dos grupos de administradores dee administradores de domínio do AWS Delegated FSx. Para obter mais informações, consulte Criação de um local FSx para o Windows File Server na documentação.

Na próxima etapa, insiro um nome para a tarefa e deixo todas as outras opções com seus valores padrão da mesma forma que fiz para a tarefa anterior.

Eu reviso as configurações e crio a tarefa. Agora eu começo a tarefa de transferir dados do console. Depois de alguns minutos, os arquivos são sincronizados com meu recurso compartilhado no sistema de arquivos FSx para Windows. Eu monto o sistema de arquivos compartilhado com uma instância EC2 do Windows e vejo que minhas imagens estão lá.

Ao criar uma tarefa, posso reutilizar os locais existentes. Por exemplo, se eu quiser sincronizar arquivos do Azure Files com meu bucket do S3, posso selecionar rapidamente os dois locais correspondentes que criei para esta publicação.

Disponibilidade e preços

Você pode mover seus dados usando o console do AWS DataSync, a interface de linha de comando (CLI) da AWS ou os SDKs da AWS para criar tarefas que movem dados entre o armazenamento da AWS e os buckets do Google Cloud Storage ou os sistemas de arquivos do Azure Files. Enquanto as tarefas estão em execução, você pode monitorar o progresso no console do DataSync ou por meio do CloudWatch.

Não há mudanças nos preços do DataSync com esses novos recursos. A transferência de dados de e para o Google Cloud ou o Microsoft Azure mantém a mesma taxa de todas as outras fontes de dados compatíveis com o DataSync atualmente.

O Google Cloud ou o Microsoft Azure podem aplicar taxas de transferência de dados. Como o DataSync compacta os dados copiando-os entre o agente e a AWS, você pode reduzir as taxas de saída implementando o agente DataSync em um ambiente do Google Cloud ou Microsoft Azure.

Ao usar o DataSync para transferir dados da AWS para o Google Cloud ou o Microsoft Azure, você será cobrado pela transferência de dados do EC2 para a Internet. Consulte os preços do Amazon EC2 para obter mais informações

— Danilo

Este artigo foi traduzido do Blog de AWS em Inglês