Otimize seus custos de armazenamento para arquivos raramente acessados com o Amazon EFS Archive

Por Danilo Poccia

Hoje, estamos apresentando o EFS Archive, uma nova classe de armazenamento para o Amazon Elastic File System (Amazon EFS) otimizada para dados de longa duração que raramente são acessados.

Com esse lançamento, o Amazon EFS oferece suporte a três classes regionais de armazenamento:

• EFS Standard — baseado em armazenamento SSD e projetado para oferecer latência de submilissegundos para dados ativos.
• Acesso infrequente ao EFS (EFS IA) — Custo otimizado para dados acessados apenas algumas vezes por trimestre e que não precisam das latências de submilissegundos do EFS Standard.
• EFS Archive — Custo-otimizado para dados de longa duração acessados algumas vezes por ano ou menos e oferecendo desempenho semelhante ao EFS IA.

Todas as classes de armazenamento regionais oferecem taxa de transferência de gigabytes por segundo e desempenho de centenas de milhares de IOPS e são projetadas para oferecer 11 9s de durabilidade.

Você não precisa escolher manualmente uma classe de armazenamento para seus sistemas de arquivos porque o gerenciamento do ciclo de vida do EFS pode migrar arquivos automaticamente entre as classes de armazenamento com base em seus padrões de acesso. Isso permite que você tenha um único sistema de arquivos compartilhado que contém arquivos processados de maneiras muito diferentes: desde dados ativos sensíveis à latência até dados frios raramente acessados.

Muitos datasets tem frações de dados que são valiosos para gerar insights, mas não são usados com frequência. Com o EFS Archive, você pode armazenar dados raramente acessados de forma econômica e, ao mesmo tempo, mantê-los no mesmo sistema de arquivos compartilhado que outros dados. Essa abordagem simplificada de armazenamento permite que usuários finais e aplicativos colaborem em grandes conjuntos de dados compartilhados em um só lugar, facilitando e agilizando a configuração e a escalabilidade das cargas de trabalho analíticas.

Usando o EFS Archive, você pode otimizar os custos de cargas de trabalho com grandes conjuntos de dados baseados em arquivos que contêm uma combinação de dados ativos e inativos, como compartilhamentos de usuários, conjuntos de dados de treinamento de Machine Learning (ML), aplicativos SaaS e dados retidos para conformidade regulatória, como transações financeiras e registros médicos.

Vamos ver como isso funciona na prática.

Usando o armazenamento do EFS Archive

Para usar a nova classe de armazenamento do EFS Archive, preciso configurar o gerenciamento do ciclo de vida do sistema de arquivos. No console do Amazon EFS, seleciono um dos meus sistemas de arquivos e escolho Editar. Para usar o armazenamento do EFS Archive, o modo Throughput do sistema de arquivos deve ser elástico. O Elastic Throughput é a escolha recomendada para a maioria das cargas de trabalho porque foi projetado para fornecer aos aplicativos a taxa de transferência necessária, com preços de pagamento conforme o uso.

Agora, eu configuro o gerenciamento do ciclo de vida para fazer a transição de arquivos para o EFS IA ou o EFS Archive com base nos padrões de acesso da minha carga de trabalho.

Minhas cargas de trabalho raramente usam arquivos com mais de um mês. Arquivos com mais de 90 dias não são usados em atividades normais, mas precisam ser mantidos por mais tempo. Com base nessas considerações, opto por fazer a transição automática dos arquivos para o EFS IA após 30 dias e para o EFS Archive após 90 dias desde o último acesso. Essas são as configurações padrão para novos sistemas de arquivos.

Quando um dos meus arquivos antigos é acessado, geralmente é um indicador que está sendo usado em uma nova análise, então ele ficará ativo novamente por algum tempo. Por esse motivo, uso a opção de fazer a transição dos arquivos de volta para o armazenamento standard em seu primeiro acesso no IA ou no armazenamento Archive.

Eu salvo as alterações e pronto! Agora, esse sistema de arquivos usará automaticamente diferentes classes de armazenamento com base na forma como os arquivos estão sendo processados pelos meus aplicativos.

O que você deve saber

O EFS Archive está disponível hoje em todas as regiões da AWS onde o Amazon EFS é oferecido, exceto aquelas baseadas na China.

Para oferecer uma experiência mais econômica para arquivos mais frios e raramente acessados, o EFS Archive oferece um custo de armazenamento 50% menor do que o EFS IA, com uma taxa de solicitação três vezes maior quando os dados são acessados. Para obter mais informações, consulte a definição de preço do Amazon EFS.

Você pode usar o EFS Archive com sistemas de arquivos existentes configurando as políticas de ciclo de vida do sistema de arquivos. Novos sistemas de arquivos são criados por padrão com uma política de ciclo de vida que faz a transição automática dos arquivos para o EFS IA após 30 dias e para o EFS Archive após 90 dias desde o último acesso.

Otimize seus custos de armazenamento configurando o gerenciamento do ciclo de vida para seus sistemas de arquivos Amazon EFS.

— Danilo

Sobre o autor

Danilo Poccia trabalha com start-ups e empresas de qualquer tamanho para apoiar sua inovação. Como evangelista-chefe (EMEA) na Amazon Web Services, ele usa sua experiência para ajudar as pessoas a concretizar suas ideias, com foco em arquiteturas sem servidor e programação baseada em eventos, bem como no impacto técnico e comercial do aprendizado de máquina e da computação de ponta. Ele é o autor de AWS Lambda in Action, de Manning.

Revisores

Mateus Pereira é um Arquiteto de Soluções Sênior de Parceiros na AWS, atuando na região de LATAM. Sua experiência profissional anterior inclui desenvolvimento de software, arquitetura de TI com foco em virtualização, armazenamento e proteção de dados. Bacharel em Sistemas de Informação e MBA em Arquitetura de Soluções.

Me siga no LinkedIn: https://www.linkedin.com/in/matgpereira/

Gustavo Lima

Me siga no LinkedIn: https://www.linkedin.com/in/gustavo-lima-21940212/