Otimize os custos e ganhe visibilidade no uso com a Lente de Armazenamento do Amazon S3
TUTORIAL
Visão geral
A Lente de Armazenamento do Amazon S3 proporciona visibilidade em toda a empresa para o uso do armazenamento de objetos, para as tendências da atividade e faz recomendações práticas para otimizar os custos e aplicar melhores práticas de proteção de dados. A Lente de Armazenamento do S3 é a primeira solução de análise de armazenamento em nuvem a fornecer uma visão única do uso e da atividade do armazenamento de objetos em centenas, ou até milhares, de contas em uma organização da AWS, com detalhamentos para gerar insights em vários níveis de agregação. Usando as recomendações contextuais derivadas pela Lente de Armazenamento do S3 das análises de métricas em toda a sua organização, você pode tomar medidas imediatas para otimizar seu armazenamento.
O Amazon S3 é usado para armazenar grandes conjuntos de dados compartilhados em dezenas a centenas de contas e buckets, várias regiões e milhares de prefixos. Com a Lente de Armazenamento do S3, você pode entender facilmente seu armazenamento e analisá-lo para detectar discrepâncias. A Lente de Armazenamento do S3 fornece mais de 60 métricas (métricas gratuitas e métricas avançadas) sobre o uso e a atividade do armazenamento do S3 em um painel interativo no console do S3. Todos os clientes têm acesso a métricas gratuitas e podem habilitar métricas avançadas por uma cobrança mensal de monitoramento por objeto para receber insights em nível de prefixo, retenção estendida de dados, recomendações e a opção de publicar métricas no Amazon CloudWatch.
O que você aprenderá
- Entender a diferença entre métricas gratuitas e avançadas
- Criar, configurar e navegar em um painel da Lente de Armazenamento do S3
- Explorar casos de uso da Lente de Armazenamento do S3
Pré-requisitos
Acesse esta página de suporte para obter mais informações sobre como criar e ativar uma nova conta da AWS.
Para obter ajuda na criação do seu primeiro bucket do S3, consulte o Guia do usuário do Amazon S3.
Experiência com a AWS
Tempo para conclusão
30 minutos
Custo da conclusão (com métricas gratuitas)
Gratuito
Custo da conclusão (com métricas avançadas)
Os preços podem variar: USD 0,20 por milhão de objetos monitorados por mês (página de preços do Amazon S3)
Requisitos
Conta da AWS e um bucket do Amazon S3 preenchido
Serviços usados
Data da última atualização
17 de novembro de 2022
Implementação
Métricas gratuitas
Todos os clientes do Amazon S3 podem acessar um painel interativo no console do S3 que contém visualizações pré-configuradas do uso do armazenamento e das tendências de atividades. Com as métricas gratuitas da Lente de Armazenamento do S3, você recebe 28 métricas entre várias categorias no nível do bucket e pode acessar 14 dias de dados históricos no painel. Você pode filtrar seu painel por resumo, otimização de custos, proteção de dados, gerenciamento de acesso, performance ou eventos para analisar métricas específicas para os casos de uso pretendidos. Além do painel no console do S3, é possível exportar métricas em formato CSV ou Apache Parquet para um bucket do S3 de sua escolha para uso posterior. Para obter mais informações sobre quais métricas de uso são agregadas pela Lente de Armazenamento do S3, consulte o Glossário de métricas da Lente de Armazenamento do Amazon S3.
Métricas e recomendações avançadas
A Lente de Armazenamento do S3 oferece métricas gratuitas para todos os painéis e configurações, com a opção de upgrade para métricas e recomendações avançadas por um custo adicional. Para obter mais informações, consulte a guia Management & analytics (Gerenciamento e análise) na página de preços do Amazon S3.
Ao atualizar para as métricas avançadas da Lente de Armazenamento, você recebe 35 métricas adicionais com 15 meses de dados históricos. As métricas avançadas fornece insights relacionados a atividades (como contagens de solicitações), otimização de custo ampliada (como contagens de regras do S3 Lifecycle), proteção de dados adicional (como contagens de regras de Replicação do S3) e códigos de status detalhados (como erros de autorização 403). Você também pode detalhar até o nível do prefixo para identificar seus prefixos maiores e de crescimento mais rápido em um bucket. Além disso, você pode acessar as métricas da Lente de Armazenamento do S3 por meio do Amazon CloudWatch para criar alarmes ou a API do CloudWatch para enviar métricas a parceiros de observabilidade integrados. Você pode usar insights avançados para expandir o uso de regras de ciclo de vida para maior otimização de custos, identificar buckets com políticas de proteção de dados insuficientes e melhorar a performance das workloads das suas aplicações.
A Lente de Armazenamento do S3 fornece recomendações automatizadas para ajudar você a otimizar seu armazenamento. As recomendações são colocadas contextualmente ao lado de métricas relevantes no painel da Lente de Armazenamento do S3. Dados históricos não estão qualificados para recomendações, pois estas são relevantes apenas para o que está acontecendo no período mais recente. Recomendações somente aparecem quando são relevantes.
As recomendações da Lente de Armazenamento do S3 são feitas das seguintes maneiras:
- Sugestões
Sugestões alertam você sobre tendências no seu uso e atividades de armazenamento que possam indicar uma oportunidade de otimizar seu custo de armazenamento ou de aplicar práticas recomendadas de proteção de dados. - Chamadas
Chamadas são recomendações que alertam você sobre anomalias interessantes no uso e nas atividades de armazenamento durante um período e que talvez exijam mais atenção ou monitoramento da sua parte. - Lembretes
Lembretes fornecem informações sobre como o Amazon S3 funciona. Eles podem ajudar você a saber mais sobre maneiras de usar os recursos do S3 para reduzir os custos de armazenamento ou aplicar práticas recomendadas de proteção de dados.
A Lente de Armazenamento do S3 coleta métricas diariamente, e os dados ficam disponíveis para consultas por 15 meses. Para obter mais informações sobre as métricas de armazenamento agregadas pela Lente de Armazenamento do S3, consulte o Glossário de métricas da Lente de Armazenamento do Amazon S3.
Etapa 1: criar um painel da Lente de Armazenamento do S3
1.1 - Faça login no Console de Gerenciamento da AWS usando as credenciais da sua conta. Na barra de pesquisa de serviços do console da AWS, digite S3. Na seção de resultados da pesquisa de serviços, selecione S3.
1.2 - Navegue até o item de menu Dashboards (Painéis) na seção Storage Lens (Lente de armazenamento) no painel esquerdo. Em seguida, escolha Create dashboard (Criar painel).
1.3 - No painel General (Geral), insira um nome descritivo para seu painel e escolha uma Home Region (Região de origem). Em seguida, escolha a opção Enable (Habilitar) em Status para obter métricas diárias atualizadas.
1.4 - Um painel pode analisar o armazenamento em contas, regiões, buckets e prefixos. Em Dashboard scope (Escopo do painel), escolha se você deseja incluir ou excluir determinadas regiões, buckets ou ambos para alterar o escopo do seu painel.
Se você clicar no botão Include Regions and buckets (Incluir regiões e períodos), você terá a opção de incluir todas as regiões e períodos ou de selecionar em um menu suspenso quais regiões e períodos deseja incluir. Caso contrário, se você clicar no botão Exclude Regions and buckets (Excluir regiões e períodos), terá uma opção suspensa para escolher quais regiões e períodos deseja excluir.
1.5 - Em Metrics selection (Seleção de métricas), escolha as opções que você deseja usar. Para este tutorial, selecionamos métricas e recomendações avançadas e incluímos métricas avançadas, publicação do CloudWatch e agregação de prefixos. Além disso, você pode escolher as categorias de métricas avançadas que deseja incluir no painel. Para este tutorial, selecionamos métricas de atividades, métricas detalhadas do código de status, métricas avançadas de otimização de custos e métricas avançadas de proteção de dados. Você pode encontrar uma lista detalhada de métricas no Glossário de métricas do Guia do usuário do Amazon S3.
1.6 - em Metrics export (Exportação de métricas), você pode escolher Enable (Habilitar) para que as métricas do painel sejam exportadas para um bucket específico do S3 a cada 24 horas.
Se você optar por habilitar isso, precisará selecionar seu formato de saída preferido e seu bucket de destino.
Para saber mais, consulte a documentação sobre Exportação de dados da Lente de Armazenamento do S3.
Durante esse período, fique à vontade para sair e retornar a esse tutorial assim que as métricas tiverem sido geradas.
Etapa 2: navegar até o painel da Lente de Armazenamento do S3
2.1 - navegue de volta ao painel acessando o console do Amazon S3 e depois acesse o item de menu Dashboards (Painéis), como na Etapa 1.2. Depois de abrir o painel, você pode expandir o painel Filters (Filtros) para filtrar temporariamente os dados do painel por contas, regiões, classes de armazenamento, buckets e prefixos.
2.2 - A próxima seção é um snapshot de uma variedade de métricas. Você pode ver uma linha de tendências que mostra a tendência de cada métrica nos últimos 30 dias, se estiver usando métricas avançadas, e uma alteração percentual (14 dias se estiver usando métricas gratuitas ou se tiver habilitado métricas avançadas há menos de 30 dias). O número na coluna de comparação da porcentagem de alteração mostra a alteração percentual dia a dia por padrão. É possível optar por comparar por semana a semana ou mês a mês.
Além disso, você pode selecionar diferentes grupos de métricas para visualização na visão geral do snapshot no menu suspenso. As seleções incluem resumo, otimização de custos, proteção de dados, atividades, gerenciamento de acesso, eventos e performance.
2.3 - No painel Snapshot, você verá a seção Trends and distributions (Tendências e distribuições). Nessa seção, é possível comparar duas métricas em um intervalo de datas, que você pode especificar, para ver as tendências ao longo do tempo.
2.4 - Logo abaixo, o painel também mostra essas duas métricas e como elas são distribuídas entre classe de armazenamento e regiões da AWS. Você pode clicar em qualquer valor nesse gráfico e detalhar para filtrar todo o painel com base nesse valor ou pode selecionar Analyze by (Analisar por ) para navegar até uma nova visualização do painel para essa dimensão.
2.5 - A última seção na guia Overview (Visão geral) permite que você realize uma análise Top N (N principais) de uma métrica em um intervalo de datas, em que N está entre 1 e 25. No exemplo abaixo, selecionamos os três principais itens em ordem decrescente para a métrica de armazenamento total.
É possível ver as três principais contas, regiões, buckets e prefixos de acordo com a métrica escolhida, junto com as tendências associadas.
Você pode visualizar as outras guias no painel para obter métricas mais específicas sobre suas contas, regiões, classes de armazenamento, buckets e prefixos.
Etapa 3: explorar casos de uso da Lente de Armazenamento do S3
Identificar buckets grandes que você não conhece (nível gratuito)
A primeira etapa para gerenciar seus custos de armazenamento é obter uma compreensão detalhada do uso do S3 por bucket. Com a Lente de Armazenamento do S3, você pode acessar uma visão centralizada de todos os buckets na sua conta. Você pode até mesmo configurar um painel no nível da organização da AWS para ver todos os buckets em todas as suas contas. O uso da Lente de Armazenamento do S3 facilita a visibilidade de todos os seus buckets, o que pode revelar descobertas inesperadas, como buckets com mais objetos do que o esperado.
3.1 - Na parte superior do painel da Lente de Armazenamento do S3, navegue até a guia Bucket.
3.3 - No gráfico Trend of buckets (Tendências de buckets), você pode visualizar não apenas qual bucket tem o maior armazenamento total, como também quais buckets tiveram o maior crescimento. Neste gráfico, fica claro que o bucket1 teve um crescimento consistente e, ao mesmo tempo, teve o maior armazenamento.
Podemos detalhar esse bucket para obter mais informações, como o tamanho médio do objeto, a porcentagem de bytes da versão não atual ou os maiores prefixos.
3.4 - Em seguida, você pode navegar até o bucket no console do Amazon S3 para entender a workload associada e identificar os proprietários internos do bucket com base no número da conta. Em seguida, pode descobrir com os proprietários do bucket se esse crescimento é esperado ou se é um crescimento inesperado que agora você pode colocar sob monitoramento e controle adequados.
Aumentar o uso das classes de armazenamento do S3
Um dos caminhos mais claros para reduzir custos de armazenamento é otimizar seus custos de armazenamento com base na frequência de acesso e nas necessidades de performance por meio das classes de armazenamento do Amazon S3. O Amazon S3 oferece uma variedade de classes de armazenamento que você pode escolher com base no acesso aos dados, resiliência e requisitos de custo de suas workloads. Essas classes de armazenamento incluem:
- S3 Standard para armazenamento de finalidade geral de dados acessados com frequência
- S3 Intelligent-Tiering para dados com padrões de acesso desconhecidos ou variáveis
- S3 Standard-Infrequent Access (S3 Standard-IA) e S3 One Zone-Infrequent Access (S3 One Zone-IA) para dados de longa duração, mas acessados com menos frequência
- Amazon S3 Glacier Flexible Retrieval, Amazon S3 Glacier Instant Retrieval e Amazon S3 Glacier Deep Archive para arquivamento de longo prazo e preservação digital
Se você perceber que todos ou quase todos os seus bytes de armazenamento estão na classe de armazenamento S3 Standard, significa que poderá otimizar seu uso explorando classes adicionais de armazenamento do S3 para melhor se alinhar ao seu caso de uso. Se a sua visualização é semelhante a esta, provavelmente você poderá se beneficiar com a exploração de padrões de design de otimização de custos.
Primeiro, você pode automatizar a otimização de custos usando a classe de armazenamento S3 Intelligent-Tiering, ideal para padrões de acesso desconhecidos ou variáveis. Em segundo lugar, para padrões de acesso conhecidos, você pode configurar políticas de ciclo de vida do Amazon S3 para reduzir seus custos de armazenamento fazendo a transição dos seus dados para classes de armazenamento mais econômicas à medida que a frequência de acesso diminui com o tempo. Consulte a página de preços do Amazon S3 para obter mais detalhes sobre a economia exata e observe os custos adicionais das transições e do uso das classes de armazenamento do S3 Glacier por sobrecarga de objeto.
Em seguida, você pode continuar sua análise na Lente de Armazenamento do S3 para explorar mais a fundo o uso de classes de armazenamento, detalhando distribuições de classes de armazenamento para regiões ou buckets específicos (ou prefixos, no caso do upgrade para o nível avançado). É comum ter um subconjunto de buckets que não estão configurados de maneira ideal, e é aí que você pode se beneficiar com o uso de classes de armazenamento S3 diferentes ou adicionais. A Lente de Armazenamento do S3 é uma ferramenta eficaz para examinar esses buckets antes de prosseguir com outras ações.
Descobrir buckets que se tornaram inativos
Se você tiver buckets que se tornaram inativos, o que significa que o armazenamento nesses buckets não é mais acessado (ou raramente acessado), isso geralmente é um indicador de que a workload relacionada não está mais em uso. Se você tiver habilitado métricas avançadas da Lente de Armazenamento do S3, terá acesso a métricas de atividades para entender o quão ativos (ou inativos) estão os seus buckets. Há métricas como solicitações GET e bytes de download que indicam com que frequência seus buckets são acessados todos os dias. Você pode analisar esses dados por vários meses (a retenção estendida de dados está disponível com o nível avançado) para entender a consistência dos padrões de acesso e identificar buckets que não estão mais sendo acessados. A métrica de porcentagem da taxa de recuperação, calculada como bytes de download/armazenamento total, é uma métrica útil para entender a proporção de armazenamento em um bucket que é acessado diariamente. Lembre-se de que os bytes de download são duplicados nos casos em que o mesmo objeto é baixado várias vezes durante o dia.
A melhor maneira de visualizar buckets que se tornaram inativos é por meio do gráfico de análise de bolhas na guia Bucket do painel. O gráfico de análise de bolhas permite plotar buckets em várias dimensões usando quaisquer três métricas para representar o eixo x, o eixo y e o tamanho da bolha.
3.6 - Navegue até a guia Bucket e desça até o gráfico de análise de bolhas. Selecione armazenamento total, porcentagem da taxa de recuperação e tamanho médio do objeto.
Se você pesquisar qualquer bucket com uma taxa de recuperação de zero (ou próxima de zero) e um tamanho de armazenamento relativo maior, poderá encontrar buckets que se tornaram inativos e nos quais o custo de armazenamento provavelmente é grande o suficiente para justificar a ação. Neste exemplo, analisaremos o bucket10 e o bucket1.
A partir daqui, você pode identificar os proprietários de buckets na sua organização para confirmar a finalidade da workload e descobrir se o armazenamento ainda é necessário. Se não for necessário, você pode remediar os custos configurando políticas de expiração do ciclo de vida ou arquivando os dados nas classes de armazenamento Amazon S3 Glacier. E, para evitar o problema de buckets inativos no futuro, você pode aplicar um dos padrões de design recomendados mencionados anteriormente neste guia para fazer a transição automática dos seus dados usando as políticas de ciclo de vida do S3 ou habilitar o arquivamento automático com o S3 Intelligent-Tiering.
Etapa 4: realizar a limpeza
Para este tutorial, caso você encontre valor nos insights que está recuperando, recomendamos manter as métricas e recomendações avançadas ativadas. Observe que você continuará acumulando custos se escolher essa opção.
Como alternativa, você pode optar por interromper os custos desativando métricas e recomendações avançadas. Você ainda terá acesso às métricas gratuitas no seu painel.
4.2 - Clique em Edit (Editar) no canto superior direito da página de configuração do painel.
4.3 - Role para baixo até o painel de seleção de métricas e escolha Free metrics (Métricas gratuitas). Em seguida, selecione Save changes (Salvar alterações).
Conclusão
Parabéns! Você aprendeu a criar, configurar e navegar em um painel da Lente de Armazenamento do Amazon S3 e explorou três casos de uso para otimizar seus custos de armazenamento de objetos.
Próximas etapas
Para saber mais sobre a Lente de Armazenamento do Amazon S3, consulte o Guia do usuário e a página do produto do Amazon S3.