O blog da AWS

Discutindo opções de armazenamento para Windows Server na AWS, parte 1: Amazon FSx File Gateway

Por: Caio Ribeiro César, Arquiteto de Soluções Especializadas em Microsoft na  AWS
Diego Voltz, Arquiteto de Soluções Senior em Enterprise na AWS e
Samuel Sousa, Arquiteto de Soluções especialista em Storage na AWS.

 

O AWS Storage Gateway é um conjunto de serviços que habilita a extensão dos benefícios da nuvem para as aplicações que residem on-premises. A integração é feita sem a necessidade de modificar a forma com que as aplicações se comunicam atualmente pois a comunicação acontece através da utilização de protocolos padrões de storage como NFS, SMB e iSCSI. O AWS Storage Gateway possui quatro tipos: Volume Gateway, Tape Gateway, Amazon S3 File Gateway e  Amazon FSx File Gateway.

Os dois últimos serão objetos de estudo nesta série, mas antes, vamos falar um pouco do Amazon FSx for Windows.

O Amazon FSx for Windows File Server, fornece armazenamento de arquivos altamente confiável, escalável e totalmente gerenciado, acessível pelo protocolo SMB (Service Message Block). Este serviço é baseado no sistema operacional Windows Server, oferecendo uma ampla gama de recursos administrativos (cotas de usuários, shadow copy,  integração com o Microsoft Active Directory, deduplicação de dados, entre outros). O Amazon FSx for Windows oferece opções de implantação Multi-AZ e Single-AZ, backups totalmente gerenciados e criptografia de dados em repouso e em trânsito. Além disso, os clientes podem otimizar os custos e a performance das necessidades das cargas de trabalho com opções de armazenamento em SSD e HDD, e ainda dimensionar o armazenamento e alterar a performance de throughput do sistema de arquivos a qualquer momento. O armazenamento de arquivos do Amazon FSx pode ser acessado nas instâncias e dispositivos de computação do Windows, Linux e MacOS em execução na AWS ou no local.

Em 2020, criamos uma série de posts explicando as funcionalidades do Amazon FSx for Windows. Esta série tem quatro capítulos:

  1. Criando e Configurando o FSx
  2. Mais funcionalidades: VolumeShadowCopy, DFS Namespace, Data Deduplication e Quotas
  3. Mapeando o FSx para servidores Linux
  4. Migrando dados com o AWS DataSync (Cenário de Multi-Região)

Ainda em 2020, contruímos um Workshop sob demanda que discute e demonstra recursos e arquiteturas do Amazon FSx for Windows.

Nesta nova série, iremos discutir e comparar opções de armazenamento para Windows Server na AWS. Ela será dividida em três partes:

  • Parte 1: Amazon FSx File Gateway (você está aqui)
  • Parte 2: Amazon S3 File Gateway
  • Parte 3: Amazon FSx File Gateway vs. Amazon S3 File Gateway

Conforme demostrado acima, já temos diversos materiais públicos para o Amazon FSx for Windows. Desta vez, vamos falar do lançamento de 2021, o Amazon FSx File Gateway.

O Amazon FSx File Gateway é um novo tipo de gateway de arquivo que fornece baixa latência e acesso eficiente a compartilhamentos de arquivos do Amazon FSx para Windows File Server. Em um cenário em que o acesso ocorre do ambiente on-premises, devido aos requisitos de latência ou largura de banda, podemos usar o Amazon FSx File Gateway para acesso direto a compartilhamentos de arquivos do Windows totalmente gerenciados, altamente confiáveis e escaláveis a PBs (com o uso do DFS Namespace) fornecidos pelo Amazon FSx para Windows File Server.

Existem diversos benefícios ao se integrar o Amazon FSx for Windows com o Amazon FSx File Gateway:

  1. Eliminar servidores de arquivos do ambiente on-premises, consolidando todos os seus dados na AWS para aproveitar a escala e a economia do armazenamento em nuvem.
  2. Fornecer opções que podemos usar para diversas cargas de trabalho , incluindo aquelas que requerem acesso local aos dados da nuvem (acesso híbrido com melhor velocidade). O acesso de baixa latência garante que possamos continuar a usar aplicações sensíveis à latência. O armazenamento em cache conserva a largura de banda compartilhada entre o ambiente on-premises e a nuvem, importante quando temos muitos usuários tentando acessar dados de compartilhamento de arquivos diretamente.
  3. Os aplicativos que precisam permanecer no ambiente on-premises agora podem se beneficiar com a mesma baixa latência e alto desempenho que teriam ao ser executados em Elastic Compute cloud na AWS (EC2), sem sobrecarregar suas redes ou impactar as latências experimentadas por seus aplicativos mais exigentes.
  4. A adaptação de cloud pode ser feita em mais etapas e melhor granularidade, diminuindo o impacto e tempo para o descomissionamento do ambiente on-premises.
  5. Este modelo de arquitetura faz com que os dados residam no Amazon FSx for Windows, utilizando os diversos benefícios deste produto.
  6. Integração com backups (incluindo backups efetuados diretamente no Amazon FSx for Windows e AWS Backup). Antes de iniciar um backup, o Amazon FSx efetua uma comunicação com cada Amazon FSx File Gateway para garantir que todos os dados não comitados sejam liberados, ajudando a reduzir ainda mais a sobrecarga administrativa e as preocupações ao mover compartilhamentos de arquivos locais para a nuvem.
  7. Diminuição de custo de transferência de dados na AWS quando comparado com o cenário da aplicação efetuando o acesso diretamente no Amazon FSx for Windows. Para mais informações sobre custos de transferência de dados na AWS, clique aqui.

O Amazon FSx File Gateway está disponível usando várias opções de plataforma: appliance físico, máquinas virtuais (VMware ESXi, Microsoft Hyper-V, Linux KVM) ou em EC2.

Para a demonstração de funcionalidade, iremos utilizar como fonte de dados de storage um Amazon FSx for Windows na região de São Paulo (sa-east-1). Lembrando que temos como pré-requisitos a configuração de uma VPC, um Security Group (no mínimo) e, no caso da configuração Multi-AZ, duas subnets (uma em cada zona de disponibilidade). Após validarmos os pré-requisitos, iremos configurar a capacidade de throughput para 32 MB/s, para também demonstrar a funcionalidade de auditoria.

 

Imagem 1: Criação do Amazon FSx for Windows com a configuração de Multi-AZ, 32GB SSD e 32 MB/S para throughput. A auditoria de acesso a arquivos requer um sistema de arquivos com capacidade de transferência mínima de 32 MB/s.

 

Imagem 2: Configurações de auditoria do Amazon FSx for Windows.

 

Imagem 3: Amazon FSx for Windows sendo criado.

 

Imagem 4: Amazon FSx for Windows criado.

 

Imagem 5: Acessando os dados do Amazon FSx.

 

Para a criação do Amazon FSx File Gateway, selecionamos a opção “Storage > Storage Gateway” ou efetuamos a pesquisa do produto “Storage Gateway”.

 

Imagem 6: Localizando o Storage Gateway na lista de produtos AWS.

 

Imagem 7: Localizando o Storage Gateway na barra de pesquisa.

 

Agora, selecionamos a opção “Create Gateway” para efetuar a criação do File Gateway que será utilizado nesta demonstração.

 

Imagem 8: Iniciando o setup para o File Gateway.

 

Selecionamos a opção “Amazon FSx File Gateway”.

 

Imagem 9: Selecionando a opção “Amazon FSx File Gateway”.

 

Na opção de plataforma, iremos selecionar “Amazon EC2” em caráter de teste. Geralmente, as opções mais comuns são VMWare, Hyper-V, KVM ou appliance físico ; vide que o modelo de arquitetura é manter o caching de storage no ambiente on-premises. O modelo de EC2 geralmente é utilizado quando o dado reside no Amazon FSx for Windows e é necessário um caching de leitura para uma aplicação que também reside em EC2, ou até um cacheamento para cenários de multi-região.

 

Imagem 10: Selecionando a plataforma do Amazon FSx File Gateway.

 

Iremos seguir as instruções de setup para a execução do Amazon FSx File Gateway em EC2.

 

Imagem 11: EC2 Amazon FSx File Gateway em execução.

 

Agora, iremos selecionar a opção de endpoint de serviço. Para mais informações, clique aqui.

 

Imagem 12: Selecionando o tipo de endpoint para o Amazon FSx File Gateway.

 

No próximo passo, iremos nos conectar ao Amazon FSx File Gateway.

 

Imagem 13: Conectando ao Amazon FSx File Gateway.

 

Agora iremos ativar o Amazon FSx File Gateway e atribuir um nome para o serviço.

 

Imagem 14: Ativando o Amazon FSx File Gateway e atrib.

 

Agora, iremos escolher os discos locais para o Amazon FSx File Gateway utilizar para armazenamento em cache (buffer de upload). Os discos locais correspondem aos discos provisionados no EC2.

 

Imagem 15: Selecionando os discos para armazenamento em cache.

 

Iremos criar um novo log group no CLoudWatch para o armazenamento de dados de monitoramento do Amazon FSx File Gateway.*

 

Imagem 16: Habilitando logging.

 

Na tela seguinte, revisamos as configurações e selecionamos a opção “Finish”. Fomos redirecionados à console do Storage Gateway, com o nosso Amazon FSx File Gateway em execução.

 

Imagem 17: Amazon FSx File Gateway em execução.

 

Agora, iremos selecionar a opção “Attach FSx file system”.

 

Imagem 18: Integrando o Amazon FSx File Gateway com o Amazon FSx for Windows.

 

Na próxima tela de configuração, adicionamos as informações do Active Directory em que o Amazon FSx for Windows é membro, juntamente com as informações de usuário para efetuar o domain join.

Tenha certeza de que o EC2 consegue resolver os nomes para o seu “domain name”. Para mais informações sobre DNS Híbrido da AWS com o Active Directory, clique aqui.

 

Imagem 19: Adicionando o Amazon FSx File Gateway no domínio.

 

Imagem 20: Adicionando o Amazon FSx File Gateway no domínio, status em progresso.

 

Agora, iremos atribuir o Amazon FSx for Windows que será utilizado. Nesta opção, selecionamos o Amazon FSx for Windows que foi criado para esta demonstração.

 

Imagem 21: Selecionando o Amazon FSx for Windows.

 

Podemos também configurar os intervalos em que o cache do Amazon FSx File Gateway irá atualizar os arquivos (refresh interval). Nesta demonstração, estamos usando um TTL de 1 hora.

 

Imagem 22: Atribuindo o refresh interval.

 

Na próxima página, revisamos as configurações e clicamos em “Attach”.

 

Imagem 23: Amazon FSx File Gateway e Amazon FSx for Windows em processo de integração.

 

Após alguns minutos, o status é alterado para “Available”.

 

Imagem 24: Amazon FSx File Gateway integrado com o Amazon FSx for Windows.

 

Agora que configuramos o Amazon FSx File Gateway, podemos utilizar este recurso em um EC2 Windows.

 

Imagem 25: Comando para mapear um drive de rede com o Amazon FSx File Gateway.

 

Podemos confirmar que o Amazon FSx File Gateway está efetuando o cache de conteúdo do Amazon FSx:

 

Imagem 26: Arquivos de fotos armazenados no Amazon FSx for Windows.

 

Imagem 27: Arquivos de fotos armazenados no Amazon FSx File Gateway.

 

Agora, criamos uma nova pasta no Amazon FSx, chamada “Teste”. Podemos ver que o Amazon FSx File Gateway ainda não possui ela “replicada”, devido ao refresh time interval configurado no setup (1 hora):

 

Imagem 28: Pasta “Teste“ criada no Amazon FSx for Windows.

 

Imagem 29: Pasta “Teste“ ainda não replicada no FSx File Gateway.

 

Imagem 30: Pasta “Teste“ replicada no Amazon FSx File Gateway após 1 hora.

 

Ao clicar em “Propriedades” de qualquer arquivo ou pasta do Amazon FSx File Gateway, também podemos confirmar que o permissionamento de Active Directory é mantido (Security).

 

Imagem 31: Permissionamento do arquivo no Amazon FSx File Gateway.

 

Nos eventos de auditoria do Amazon FSx for Windows, os logs são mantidos:

 

Imagem 32: Eventos de auditoria do Amazon FSx for Windows.

 

Optar por uma solução de gateway próximo das aplicações on-premises pode ter um impacto positivo no desempenho. Para demonstrar, iremos efetuar o download da última versão do DiskSpd e executar um teste de performance com o objetivo de comparar o Amazon FSx com o Amazon FSx File Gateway.

Este exemplo executará um teste de I/O randômico de 30 segundos usando um arquivo de teste de 2GB com uma taxa de gravação de 25% e leitura de 75%, com um tamanho de bloco de 8K. Ele usará oito threads de trabalho, cada um com quatro I/Os e um valor de gravação de 1 GB.

Configurações

  • Amazon FSx HDD com 32 MB/s Throughput (US West Oregon).
  • Servidor de aplicação em EC2 M5xLarge (South East Asia Singapore).
  • Conexão (VPC Peering) entre US West Oregon & South East Asia Singapore.
  • Appliance do Amazon FSx File Gateway instalado em uma instância EC2 M4xLarge com 150 GB de cache (South East Asia Singapore)

Teste 1) Amazon FSx for Windows

$random = $(Get-Random)

fsutil file createnew 
\\amznfsxovuaxsaw.example.com\share\${env:computername}-$random.dat 2000000000

DiskSpd.exe –b8K –d30 –o4 –t8 –h –r –w25 –L –Z1G 
\\amznfsxovuaxsaw.example.com\share\${env:computername}-$random.dat

 

Imagem 33: Execução de diskspd no Amazon FSx for Windows

 

Teste 2) Amazon FSx File Gateway 

$random = $(Get-Random)

fsutil file createnew 
\\amazonfgw.example.com\share\${env:computername}-$random.dat 2000000000

DiskSpd.exe –b8K –d30 –o4 –t8 –h –r –w25 –L –Z1Gdisk 
\\amazonfgw.example.com\share\${env:computername}-$random.dat

Imagem 34: Execução de diskspd no Amazon FSx File Gateway

 

Comparando os resultados, conseguimos comprovar que a utilização do Amazon FSx File Gateway melhora a performance de utilização:

 

Amazon FSx for Windows Read IO

Imagem 35: Amazon Fsx for Windows: média de 157 IOPS.

 

Amazon FSx for Windows Read (ms)

Imagem 36: Amazon Fsx for Windows: 99% das operações de leitura com uma latência média de 329 milissegundos.

 

Amazon FSx File Gateway Read IO

Imagem 37: Amazon Fsx File Gateway: média de 1587 IOPS.

 

Amazon FSx File Gateway Read (ms)

Imagem 38: Amazon Fsx for Windows: 99% das operações de leitura com uma latência média de 215 milissegundos.

Em mais testes efetuados com o Amazon FSx File Gateway, comprovamos uma melhoria significativa de acesso:

Resultados com Amazon FSx for Windows (sem Amazon FSx File Gateway)

  • Entre 30-40 minutos para uma cópia de 3GB para o Amazon FSx for Windows.
  • 5 minutos para remover os 3GB (separados em 186 arquivos).
  • Entre 30-45min para uma cópia de 8GB (único arquivo) do Amazon FSx for Windows para o EC2.

Resultados Amazon FSx for Windows integrado com o Amazon FSx File Gateway

  • Entre 1-2 minutos para uma cópia de 3GB para o Amazon FSx File Gateway.
  • 1-2 segundos para remover os 3GB (separados em 186 arquivos).
  • 1-3 minutos para uma cópia de 8GB (único arquivo) do Amazon FSx File Gateway para o EC2.

 

*Para validar as métricas de utilização do Amazon FSx File Gateway, basta acessar o CloudWatch e criar o dashboard.

 

Imagem 39: Dashboard de utilização do Amazon FSx File Gateway.

 

Neste blog post, demonstramos a utilização do Amazon FSx File Gateway para fornecimento de baixa latência e acesso eficiente a compartilhamentos de arquivos do Amazon FSx para Windows File Server.

 

Imagem 40: Modelo de arquitetura do Amazon FSx File Gateway, com acesso de clientes SMB (onpremises) e uma conexão de rede para a AWS Cloud, com o Amazon FSx for Windows atuando como fonte de armazenamento de dados.

 

Sobre os autores

Caio Ribeiro César atualmente trabalha como arquiteto de soluções especializadas em tecnologia da Microsoft na nuvem AWS. Ele iniciou sua carreira profissional como administrador de sistemas, que continuou por mais de 14 anos em áreas como Segurança da Informação, Identity Online e Plataformas de Email Corporativo. Recentemente, se tornou fã da computação em nuvem da AWS e auxilia os clientes a utilizar o poder da tecnologia da Microsoft na AWS.

 

 

 

 

Diego Voltz atua como arquiteto de soluções senior no seguimento de enterprise na AWS. Ele atuou por 15 anos como CTO de Startups no seguimento de Web Hosting e Health, tendo como foco virtualização, Storage e containers, hoje ajuda os clientes da AWS na jornada de adoção da nuvem e na otimização dos custos.

 

 

 

 

Samuel Sousa é Arquiteto de Soluções especialista em Storage na AWS para a América Latina. Ele possui mais de 10 anos de experiência na área de arquitetura de soluções focado especificamente no armazenamento, gerenciamento, proteção e recuperação de dados. Juntou-se ao time da AWS em 2020 e, desde então, vem ajudando os clientes a migrar e a otimizar suas cargas de trabalho na nuvem.