Discutindo opções de Armazenamento para Windows Server na AWS. Parte 3: Amazon FSx File Gateway vs. Amazon S3 File Gateway

Por: Caio Ribeiro César, Arquiteto de Soluções Especializadas em Microsoft na  AWS
Diego Voltz, Arquiteto de Soluções Senior em Enterprise na AWS e
Samuel Sousa, Arquiteto de Soluções especialista em Storage na AWS.

Bem-vindo à Parte 3 desta série que tem o objetivo de discutir as opções de armazenamento para Windows Server na AWS.

E para iniciar a parte 3, vamos recapitular as diferenças ente as duas soluções, para que possamos posteriormente comparar e tomar a melhor decisão na hora de optar por uma delas.

Em nosso post “Discutindo opções de armazenamento para Windows Server na AWS, parte 1: Amazon FSx File Gateway” , nós discutimos os benefícios de utilizar o FSx File Gateway para servidores de arquivos Windows.

O Amazon FSx for Windows File Server fornece armazenamento de arquivos altamente confiável, escalável e totalmente gerenciado, acessível pelo protocolo SMB (Service Message Block). Este serviço é baseado no sistema operacional Windows Server, oferecendo uma ampla gama de recursos administrativos (cotas de usuários, shadow copy,  integração com o Microsoft Active Directory, deduplicação de dados, entre outros). O Amazon FSx for Windows oferece opções de implantação Multi-AZ e Single-AZ, backups totalmente gerenciados e criptografia de dados em repouso e em trânsito. Além disso, os clientes podem otimizar os custos e a performance das necessidades das cargas de trabalho com opções de armazenamento em SSD e HDD, e ainda dimensionar o armazenamento e alterar a performance de throughput do sistema de arquivos a qualquer momento. O armazenamento de arquivos do Amazon FSx pode ser acessado nas instâncias e dispositivos de computação do Windows, Linux e MacOS em execução na AWS ou no local.

Já em nosso post “Discutindo opções de Armazenamento para Windows Server na AWS. Parte 2: Amazon S3 File Gateway”, discutimos sobre o Amazon S3 File Gateway.

A solução Amazon S3 File Gateway estende os benefícios da nuvem para on-premises. É possível se conectar com o ambiente on-premises através de protocolos de arquivos como NFS e SMB e, ao mesmo tempo, armazenar os dados no Amazon S3 em background. Como o foco desta série é apenas aplicações Windows, não  iremos abordar o acesso via NFS.

Da mesma forma que o Amazon FSx File Gateway, o Amazon S3 File Gateway também possui um cache local que proporciona baixa latência para os dados frequentemente acessados. Porém, ao invés de se integrar e armazenar dados no Amazon FSx for Windows na nuvem, o Amazon S3 File Gateway se integra e armazena os dados diretamente no Amazon S3. Isso faz com que seja possível usufruir de todos os benefícios do Amazon S3, como escalabilidade, durabilidade, disponibilidade e segurança.

Para referência, estas são as postagens dos blogs desta série:

• Parte 1: Amazon FSx File Gateway 
• Parte 2: Amazon S3 File Gateway 
• Parte 3: Amazon FSx File Gateway vs. Amazon S3 File Gateway (você está aqui)

Agora que estamos mais habituados com as duas soluções, chegou a hora de comparar as duas soluções e decidir qual é a mais indicada para nosso workload.

1- Usabilidade e Funcionalidades

Quando consideramos storages altamente disponíveis e duráveis para aplicações de missão crítica, devemos comparar suas principais funcionalidades e também as necessidades dos workloads. O Amazon FSx File Gateway sai na frente nessa questão dando um completo suporte para o sistema NTFS e integração via PowerShell, vejamos alguns dos principais recursos de ambos, que colaboram com nossa visão.

Amazon FSx File Gateway

• Microsoft Windows Shadow Copy é uma captura instantânea em um ponto do tempo para arquivos do Windows, podendo assim os usuários ter a possibilidade de restaurar arquivos e pastas de forma granular em algum período. Esse recurso já conhecido do Windows pode ser utilizado em combinação com o Amazon FSx for Windows File Server, sendo possível inclusive o agendamento do mesmo utilizando o próprio PowerShell, mostrando o poder da integração nativa do Windows. Vale ressaltar que o Shadow Copy armazena apenas os dados alterados em relação ao arquivo ou pasta em questão.
• Microsoft Distributed File System (DFS) é um conjunto de serviços de storage que nos permite compartilhar de forma organizada os arquivos via SMB em um sistema de arquivos distribuído, o DFS subdivide seu sistema via namespaces, onde você pode tratar de forma isolada o sistema de permissionamento (Windows Access Controls ACLS) dos seus compartilhamentos. Vale ressaltar que é possível usar o DFS integrado ao Active Directory para combinar sistemas de arquivos (shares) e com isso obter mais desempenho e capacidade, lembrando que o FSx File Gateway suporta sistemas de arquivo de no máximo 64 TiB.
• Data Deduplication é o processo de identificar dados semelhantes, ou seja, dados repetidos e manter apenas um deles. Sabemos que quando falamos de servidores de arquivos estamos falando de muitos dados e um alto tráfego de rede; dessa forma, a deduplicação ajuda muito nesse caso. Estima-se que é possível economizar em torno de 50% de espaço utilizado com esta funcionalidade (variando sempre dependendo do workload). A deduplicação de dados não está ativada por padrão e basta ativá-la via PowerShell.
• Suporte a sistema de arquivos Multi-AZ, certamente outra grande vantagem do Amazon FSx for Windows Server é sua alta disponibilidade gerenciada pela AWS. Por padrão, o Amazon FSx replica seus dados em uma AZ, para proteger de alguma falha de componentes, ou seja, você pode facilmente criar seu sistema de arquivos Multi-AZ tirando proveito da redundância através de múltiplas zonas de disponibilidade da AWS, além disso, seu backup é feito e armazenado no S3.

Acima,  citamos 4 das principais características do Amazon FSx File Gateway. Existem outras, como storage quotas e o suporte ao File Locking (funcionalidade do protocolo SMB), que juntas colaboram para um servidor de arquivos completo.

Agora vamos dar uma olhada em quatro da principais características do Amazon S3 File Gateway.

Amazon S3 File Gateway

• O Amazon S3 File Gateway faz interface com seus buckets e com isso herda algumas das melhores funcionalidades dele, como versionamento, armazenamento virtualmente ilimitado, baixo custo por GB, replicação entre regiões, arquitetura desenhada para atingir uma altíssima durabilidade dos dados de 99.999999999%, dentre outras várias funcionalidades. Certamente isso é um diferencial em comparação com o Amazon FSx File Gateway,  mas o Amazon S3 File Gateway não possui as mesmas características de um file server tradicional, e sim funcionalidades equivalentes.
• O Amazon S3 Intelligent-Tiering é uma classe de armazenamento do Amazon S3 disponível para o Amazon S3 File Gateway , que ajuda a otimizar os custos de forma automática, permitindo mover seus dados entre camadas de armazenamento: camada de acesso frequente, camada de acesso infrequente e três camadas adicionais de arquivamento. Essa forma de armazenamento é ideal para envio de dados para o Amazon S3 onde os dados tenham acessos variados, como por exemplo, exames médicos que costumam ter muitos acessos nas primeiras semanas e, logo após, raramente são acessados.
• Utilizando o Amazon S3 File Gateway podemos compartilhar um bucket inteiro ou um prefixo dentro de um bucket, como uma espécie de particionamento de um bucket com pontos de montagens diferentes expostos pelo Amazon S3 File Gateway. Desta forma, podemos ter um bucket “my-bucket” e dentro deste bucket,  dois prefixos: “my-prefix1 e “my-prefix2”; dessa forma via Amazon S3 File Gateway podemos expor de formas separadas e então teremos dois pontos de montagem para o sistema operacional (SMB ou NFS),  como por exemplo “mnt/my-bucket/my-prefix1/” e“mnt/my-bucket/my-prefix2/”. Em comparação ao FSx for Windows Server seria algo semelhante ao DFS e seus namespaces.
• O Amazon S3 File Gateway é mais indicado para uso de envio de arquivos para o Amazon S3, sendo um storage que entrega alta durabilidade e baixo custo para leitura de arquivos com a integração de cache local, onde os dados mais acessados são armazenados. Dessa forma temos um storage de rede seguro e robusto, ideal para backups e arquivamento. Embora seja  possível utilizar o Amazon S3 File Gateway como servidor de arquivos , temos que ficar atentos  à forma de como os objetos são armazenados. Nesse blog post “Comparing your on-premises storage patterns with AWS Storage services”temos uma discussão mais profunda nesse assunto.

Confira  a tabela abaixo com uma comparação de recursos de ambas as tecnologias:

Tabela 1– Comparação das principais funcionalidades

2- Comparação de custos

O fator de custo é importante na tomada de decisão por uma solução de storage. Iremos detalhar o modelo de precificação para cada uma das soluções, seguindo o seguinte cenário: um servidor de arquivos utilizando o AWS Storage Gateway como cache com um sistema de arquivos de 10 TiB, onde temos um ambiente on-premises se beneficiando do sistema de arquivos da nuvem, os usuários usam diariamente para fins gerais, além disso eles precisam de uma velocidade de acesso de 20 MBps e alta disponibilidade dos arquivos. Levaremos em conta uma arquitetura Multi-AZ na região de São Paulo com backups mensais em que desses 10 TiB levamos em consideração uma recuperação de dados de 1 TiB mensal (10%), para manipulação dos arquivos e utilização dos mesmos.

Amazon FSx File Gateway 

A forma de precificação do Amazon FSx File Gateway é relativamente simples. Sendo cobrado pela sua utilização por hora/mês e tráfego de saída da rede da AWS, tendo seu custo por hora de U$ 0.69 hora/mês e U$ 0.15 GB/mês, desta forma para 1 TiB/mês (utilização de arquivos mês) e utilização de 24X7, teremos o custo de U$ 657,15 mês.

Figura 1 –Calculadora publica do Amazon FSx File Gateway, valores estimados em 03/12/2021

Amazon FSx for Windows Server

Para o Amazon FSx for Windows File Server, você também paga apenas pelos recursos utilizados. Desta forma você paga pelo armazenamento do seu sistema de arquivos, capacidade da taxa de transferência (dados transferidos de entrada e saída) e pelos backups executados de seus dados.

Armazenamento: Este é o preço do dado armazenado, tendo dois modelos de armazenamento disponíveis (SSD ou HDD), além disso, depende to tipo de implantação Single-AZ ou Multi-AZ, você paga pela quantidade de dados armazenados por mês medidos em GB/mês, como no exemplo abaixo para a região de São Paulo:

SSD: U$ 0,247  GB/mês

HDD: 0,023 GB/mês

Taxa de transferência: O preço da capacidade da taxa de transferência é medido em MBps/mês, tomando como base a região de São Paulo, temos o custo de U$ 2,970 por MBps, do ponto de vista de armazenamento e para fins didáticos usaremos HDD como base para os cálculos.

Backup: Os backups do Amazon FSx for Windows File Server normalmente são configurados de forma automática, mas o usuário pode optar pela forma manual. A forma de precificação dos backups é medida em GB/mês, lembrando que os backups são feitos de forma incremental diariamente. Em São Paulo o custo do GB/mês é de U$0,068

Levando como base o cenário descrito acima, utilizamos a calculadora pública da AWS https://calculator.aws/#/. Adotamos como premissa deduplicação de 50% e também ambiente Multi-AZ:

Figura 2 –Calculadora pública do armazenamento do Amazon FSx For Windows Server, valores, estimados em 03/12/2021

Detalhamento dos valores:

Figura 3 –Calculadora pública do Amazon FSx For Windows Server detalhada, valores estimados em 03/12/2021

Amazon S3 File Gateway

No Amazon S3 File Gateway, o custo é inferior quando comparado ao do Amazon FSx for Windows File Server. Neste caso possuímos uma forma de cobrança parecida, onde temos  o custo por GB gravados no S3 pelo Amazon S3 File Gateway de U$ 0,01  e tráfego de saída da rede da AWS da mesma forma que o Amazon FSx File Gateway. Assumindo o mesmo cenário, teremos um custo total de U$ 255,85.

Figura 4 –Calculadora publica do Amazon S3 File Gateway, valores estimados em 03/12/2021

Amazon Simple Storage Service (S3)

Por padrão, o storage já possui proteção Multi-AZ. Em termos de custos, ele se torna mais barato e com alta resiliência  projetado para  99.999999999% de durabilidade dos dados por U$ 0,0405 por GB na classe S3 Standard, na calculadora abaixo, tentamos chegar o mais próximo possível dos valores da Figura 2. Como devemo considerar também o número de chamadas de API’s do S3, usamos como premissas 1 milhão de puts e 1 milhão de gets nos nossos cálculos.

Figura 5 –Calculadora pública do Amazon Simple Storage Service(S3), valores estimados em 25/05/2022 região São Paulo.

Confira abaixo na tabela 2 um resumo dos comparativos de custos, levando como base o cenário proposto:

Tabela 2– Comparação de custos

3- Comparação de performance

Na camada de storage,  o Amazon S3 File Gateway e o Amazon FSx File Gateway possuem formas diferentes de armazenamento quando não se beneficiam do gateway on-premises. Optamos por comparar de forma justa sua performance, tendo sempre o mesmo ambiente para a finalidade dos testes.

Iremos utilizar o AWS Storage Gateway para ambas as tecnologias, optando por utilizar os testes na mesma região. Dessa forma, não teremos influencia do link entre on-premises e a AWS. Também utilizamos a mesma EC2 (client) para testar a performance. Será uma m5.large com Windows server 2019 e a ferramenta  DiskSpd com os seguintes parâmetros:

DiskSpd.exe -d900 -s1M -w100 -t1 -o32 -b1M -Sr -L \\IPGateway\share\${env:computername}-$random.dat

Utilizamos um arquivo de 8 GiB para gravar continuamente por 3 minutos, também ignoramos o cache do cliente com a opção -Sr, usamos uma thread e um tamanho de bloco de 1 MB. Vale ressaltar que efetuamos todos os testes utilizando o máximo de velocidade entregue pelas instâncias, para que possamos testar os gateways e os sistemas de arquivos.

Amazon FSx File Gateway 

Gateway: 10.0.0.9

Instancia: m5.xlarge

SO: Linux

Storage Cache 1: 4 TiB, 10000 IOPS, 500 Throughput

Storage Cache 2: 4 TiB, 10000 IOPS, 500 Throughput

Amazon FSx for Windows File Server: 10.0.0.27

Implantação: Multi-AZ

Tipo de armazenamento: SSD

Capacidade de armazenamento: 1TiB

Throughput: 2048 MB/s

Neste teste utilizando o Amazon FSx File Gateway, podemos ver a largura de banda utilizada durante todo o período executado do DiskSpd, com velocidade de envio de 2.4 Gbps, algo em torno de 250MB/s de taxa de transferência escrevendo em um arquivo de 8 GiB.

Figura 6 – Taxa de transferência da rede do cliente EC2 mostrando a taxa de transferência de baseline de um teste de gravação

Já na figura 7 temos o resultado do DiskSpd, onde mostra uma série de informações, onde podemos citar sua taxa de transferência de MiB/s e chegando a 256 IOPs, vale frisar que os resultados de velocidade são altamente influenciados pela velocidade do appliance virtual destinado para o cache do AWS Storage Gateway.

Figura 7 – Resultado do Diskspd, Amazon FSx File Gateway

Amazon S3 File Gateway

Gateway: 10.0.0.29

Instancia: m5.xlarge

SO: Linux

Storage Cache 1: 4 TiB, 10000 IOPS, 500 Throughput

Storage Cache 2: 4 TiB, 10000 IOPS, 500 Throughput

S3:

Implantação: Multi-AZ

Tipo de armazenamento: Objeto

Capacidade de armazenamento: Virtualmente ilimitada

No gráfico de saída da interface de rede do Windows, a velocidade é muito semelhante ao FSx, chegando a aproximadamente 240 MB/. Isso ocorre pelo fato das instâncias do gateway utilizadas terem a mesma performance, o que nos leva a pensar sobre a importância da mesma ao escolher sua configuração quando usada no seu ambiente on-premises e na AWS.

Figura 8 – Taxa de transferência da rede do cliente EC2 mostrando a taxa de transferência de baseline de um teste de gravação

Nos resultados do DiskSpd, também tivemos dados semelhantes, com pequenas oscilações chegando a 231 MiB/s de throughput e 321 IOPs. Nesse teste, nota-se o poder da baixa latência gerado pelo AWS Storage Gateway para o envio de dados para a nuvem:

Figura 9 – Resultado do Diskspd, Amazon S3 File Gateway

4- Conclusão

A maior variável para a opção do storage será o workload em si. Vimos que cada storage e seu gateway possuem vantagens e desvantagens.

O Amazon S3 File Gateway exerce muito bem o papel de repositório de dados como backups, archive e Data Lakes. Já o Amazon FSx File Gateway tem em sua virtude um completo sistema de arquivos para o uso no dia a dia com funcionalidades de integração mais simples com foco em storage para aplicações .NET e para usuários finais (Amazon Workspaces, Appstream 2.0, EC2 Windows).

Sobre os autores

Caio Ribeiro César atualmente trabalha como arquiteto de soluções especializadas em tecnologia da Microsoft na nuvem AWS. Ele iniciou sua carreira profissional como administrador de sistemas, que continuou por mais de 14 anos em áreas como Segurança da Informação, Identity Online e Plataformas de Email Corporativo. Recentemente, se tornou fã da computação em nuvem da AWS e auxilia os clientes a utilizar o poder da tecnologia da Microsoft na AWS.

Diego Voltz atua como arquiteto de soluções senior no seguimento de enterprise na AWS. Ele atuou por 15 anos como CTO de Startups no seguimento de Web Hosting e Health, tendo como foco virtualização, Storage e containers, hoje ajuda os clientes da AWS na jornada de adoção da nuvem e na otimização dos custos.

Samuel Sousa é Arquiteto de Soluções especialista em Storage na AWS para a América Latina. Ele possui mais de 10 anos de experiência na área de arquitetura de soluções focado especificamente no armazenamento, gerenciamento, proteção e recuperação de dados. Juntou-se ao time da AWS em 2020 e, desde então, vem ajudando os clientes a migrar e a otimizar suas cargas de trabalho na nuvem.