Presentando Amazon S3 Storage Lens – Visión global a nivel de Organización del almacenamiento de objetos

Al comenzar en la nube, los requisitos de almacenamiento de un cliente pueden consistir en un pequeño grupo de buckets de S3, pero a medida que crecen, se migran más aplicaciones y se dan cuenta de la potencia de la nube, las cosas pueden complicarse. Un cliente puede tener decenas o incluso cientos de cuentas y tener varios buckets de S3 en numerosas regiones de AWS. Los clientes que administran este tipo de entornos nos han dicho que les resulta difícil entender cómo se utiliza el almacenamiento de información en toda su organización, cómo optimizar sus costes y cómo mejorar la postura de seguridad.

Basándose en más de 14 años de experiencia ayudando a los clientes a optimizar su almacenamiento, el equipo de S3 ha creado una nueva funcionalidad llamada Amazon S3 Storage Lens. Ésta es la primera solución de análisis de almacenamiento en la nube que ofrece visibilidad del almacenamiento de objetos de toda la organización, con métricas puntuales y líneas de tendencia, así como recomendaciones accionables. Todas estas cosas combinadas ayudarán a descubrir anomalías, identificar oportunidades para ahorrar costes y aplicar las mejores prácticas de protección de datos.

Con S3 Storage Lens, puede comprender, analizar y optimizar el almacenamiento con más de 29 métricas de utilización y actividad y paneles interactivos para hacer una agregación de datos de toda la organización, de cuentas específicas, de regiones, buckets o prefijos. Todos estos datos son accesibles desde la Consola de Administración de S3 o como datos sin procesar en un bucket de S3.

Cada cliente obtiene un panel predeterminado

S3 Storage Lens incluye un panel interactivo que se puede encontrar en la consola S3. El panel le ofrece la capacidad de realizar filtrados y desglose de las métricas para comprender realmente cómo se está utilizando el almacenamiento. Las métricas se organizan en categorías como protección de datos y rentabilidad, para permitirle encontrar fácilmente las métricas más relevantes.

Para facilitar el uso, todos los clientes reciben un panel predeterminado. Si usted es como muchos clientes, éste puede ser el único panel de control que necesita, pero si lo desea, puede hacer cambios. Por ejemplo, puede configurar el panel para exportar los datos diariamente a un bucket de S3 para su análisis con otra herramienta (Amazon QuickSight, Amazon Athena, Amazon Redshift, etc.) o puede modificar para recibir métricas y recomendaciones avanzadas.

Creación de un panel

También puede crear sus propios paneles desde cero, para ello me dirijo a la consola S3 y hago click en el elemento de menú Dashboards dentro de la sección Storage Lens. En segundo lugar, hago click en el botón Create panel.

Le doy a mi panel el nombre s3-lens-demo y selecciono una región de inicio. Las regiones son aquellas ubicaciones geográficas con presencia de infraestructura de AWS. La región de inicio es donde se almacenarán los datos de métricas del panel. Elijo habilitar el panel, lo que significa que se actualizará diariamente con nuevas métricas.

Un panel puede analizar el almacenamiento entre cuentas, regiones, buckets y prefijos. Elijo incluir buckets de todas las cuentas de mi organización y de todas las regiones en la sección “Dashboard scope”.

S3 Storage Lens tiene dos niveles: “Free metrics” que, como su nombre indica, son gratuitas, están disponibles automáticamente para todos los clientes de S3 y contienen 15 métricas relacionadas con el uso; y “Advanced metrics and recommendations” que tienen un coste adicional, pero incluyen las 29 métricas de uso y actividad con retención de datos de 15 meses, así como recomendaciones contextuales. Para esta demostración, selecciono Advanced metrics and recommendations.

Finalmente, puedo configurar las métricas del panel de forma que se exporten diariamente a un bucket específico de S3. Las métricas se pueden exportar a formato CSV o Apache Parquet para un análisis posterior fuera de la consola.

Aparece una alerta avisando que se ha creado el panel, pero puede tardar hasta 48 horas en generar las métricas iniciales.

¿Qué muestra un panel?

Una vez que se haya creado mi panel, puedo empezar a explorar los datos. Puedo filtrar por Cuentas, Regiones, Clases de almacenamiento, Buckets y Prefijos en la parte superior del panel.

La siguiente sección es una instantánea de métricas como el Total storage y Object count, y podemos ver una gráfica que muestra la tendencia en cada métrica en los últimos 30 días y un cambio porcentual. El número de la columna de “% de cambio” muestra de forma predeterminada el cambio porcentual día/día, pero puedo seleccionar comparar por semana/semana o mes/mes.

Puedo alternar entre diferentes grupos de métricas seleccionando Summary, Cost efficiency, Data protection o Activity.

Hay algunas métricas habituales como el almacenamiento total y el recuento de objetos, y que pueden consultarse en algunos lugares en la consola S3 y en Amazon CloudWatch, pero en S3 Storage Lens puede recibir estas métricas en conjunto dentro de su organización o cuenta o bien a nivel de prefijo, cosa que antes no era posible.

Hay algunas otras métricas que cabría no esperar, como las métricas que pertenecen a la utilización de las funciones de S3. Por ejemplo, podemos separar el % de objetos que utilizan cifrado, o el número de objetos que corresponden a versiones no actuales. Estas métricas le ayudan a comprender cómo está configurado el almacenamiento y le permiten identificar discrepancias y, a continuación, profundizar en los detalles.

El panel proporciona recomendaciones contextuales junto con las métricas para indicar las acciones que puede realizar en función de la métrica como, por ejemplo, formas de mejorar la rentabilidad, o aplicar las mejores prácticas de protección de datos. Las recomendaciones se muestran en la columna Recommendation. La captura de pantalla siguiente muestra una recomendación en uno de mis paneles que sugiere que debería verificar la configuración de cifrado predeterminada de mis buckets.

La sección de tendencias y distribución del panel me permite comparar dos métricas a lo largo del tiempo con más detalle. Aquí he seleccionado Tota storage como mi Primary metric y Object count como mi Secondary metric.

Estas dos métricas ahora se trazan en un gráfico, y puedo seleccionar un rango de fechas para ver la tendencia a lo largo del tiempo.

El panel también me muestra esas dos métricas y cómo se distribuyen entre lasStorage class y Regions.

Puedo hacer click en cualquier valor de este gráfico y realizar Drill down para filtrar todo el panel según ese valor, o seleccionar Analize by para navegar a una nueva vista de panel para esa dimensión.

La última sección del panel de mandos me permite realizar un análisis tipo Top N de una métrica a lo largo de un intervalo de fechas, donde N está entre 1 y 25. En el siguiente ejemplo, he seleccionado los 3 elementos principales en orden descendente para la métrica Total storage.

A continuación, puedo ver las tres cuentas principales (nota: sólo hay dos cuentas en mi organización) y la métrica Total storage para cada cuenta.

También muestra las 3 regiones principales para la métrica de Total storage, y puedo ver que el 51,15% de mis datos se almacenan en EE.UU. Este (Norte de Virginia)

Por último, el panel contiene información sobre los 3 buckets y prefijos principales y las tendencias asociadas.

Como hemos visto, S3 Storage Lens ofrece más de 29 métricas individuales sobre la utilización y la actividad del almacenamiento de S3 para todas las cuentas de la organización. Estas métricas están disponibles en la consola de S3 para poder visualizar la utilización de almacenamiento y las tendencias de actividad en un panel consolidado, con recomendaciones contextuales que facilitan realizar actuaciones de forma inmediata. Además del panel de control de la consola de S3, puede exportar métricas en formato CSV o Parquet a un bucket de S3 de su elección para analizarlo con otras herramientas como Amazon QuickSight, Amazon Athena o Amazon Redshift, por nombrar algunas.

Guía en vídeo

Si desea una revisión más profunda del servicio S3 Storage Lens, el equipo ha grabado el siguiente vídeo (en inglés) para explicar cómo funciona esta nueva característica.

Ya disponible

S3 Storage Lens está disponible en todas las regiones comerciales de AWS. Puede utilizar S3 Storage Lens con la API de Amazon S3, CLI o en la consola de S3. Para obtener información sobre precios de las métricas y recomendaciones avanzadas de la lente de almacenamiento S3, consulte la página de precios de Amazon S3. Si desea profundizar un poco más, puede consultar la documentación o la página web de S3 Storage Lens.

Este blogpost es una traducción por Jordi García Oria (AWS Solutions Architect) del original en Inglés.

— Martin

Martin Beeby Como principal advocate de Amazon Web Services, Martin viaja por todo el mundo mostrando las capacidades transformadoras de AWS. En su tiempo como advocate, Martin ha hablado en más de 200 eventos y grupos de Meetups, además de producir, blogs, tutoriales y transmisiones. Martin ha estado desarrollando aplicaciones desde los 16 años y en los últimos 20 años ha trabajado en proyectos con muchas empresas y marcas importantes. Su enfoque principal está en las aplicaciones.NET y ha trabajado como desarrollador de C # y VB desde 2001.