Optimice los costos y obtenga visibilidad sobre el uso gracias a Lente de almacenamiento de Amazon S3
TUTORIAL
Información general
Lente de almacenamiento de Amazon S3 brinda visibilidad en toda la organización del uso de almacenamiento de objetos y las tendencias de actividad y realiza recomendaciones prácticas para optimizar costos y aplicar prácticas recomendadas de protección de datos. Lente de almacenamiento de S3 es la primera solución de análisis de almacenamiento en la nube que brinda una vista única del uso de almacenamiento de objetos y la actividad a través de cientos, e incluso miles, de cuentas en una organización de AWS, con desgloses para generar información a diferentes niveles de agregación. Con las recomendaciones contextuales que Lente de almacenamiento de S3 deriva del análisis de las métricas de su organización, puede tomar medidas inmediatas para optimizar el almacenamiento.
Amazon S3 se utiliza para almacenar grandes conjuntos de datos compartidos en decenas o cientos de cuentas y buckets, múltiples regiones y miles de prefijos. Con Lente de almacenamiento de S3, puede comprender con facilidad su almacenamiento y analizarlo para detectar valores atípicos. Lente de almacenamiento de S3 ofrece más de 60 métricas (gratuitas y avanzadas) relativas al uso y la actividad del almacenamiento de S3 en un panel interactivo de la consola de S3. Todos los clientes tienen acceso a las métricas gratuitas y pueden habilitar las métricas avanzadas si pagan un cargo mensual por supervisión de objetos para recibir información a nivel de prefijo, retención de datos ampliada, recomendaciones y la opción de publicar métricas en Amazon CloudWatch.
Lo que logrará
- Comprenderá la diferencia entre métricas gratuitas y avanzadas
- Creará, configurará y navegará a través de un panel de Lente de almacenamiento de S3
- Explorará los casos de uso de Lente de almacenamiento de S3
Requisitos previos
Acceda a esta página de soporte para obtener más información acerca de cómo crear y activar una nueva cuenta de AWS.
Si desea obtener ayuda para crear su primer bucket de S3, consulte la Guía del usuario de Amazon S3.
Experiencia en AWS
Tiempo de realización
30 minutos
Costo de finalización (con métricas gratuitas)
Gratis
Costo de finalización (con métricas avanzadas)
Los precios pueden variar: 0,20 USD por millón de objetos supervisados al mes (página de precios de Amazon S3)
Requisitos
Cuenta de AWS y un bucket de Amazon S3 poblado
Servicios utilizados
Última actualización
17 de noviembre de 2022
Implementación
Métricas gratuitas
Todos los clientes de Amazon S3 pueden acceder a un panel interactivo en la consola de S3 que contiene vistas preconfiguradas del uso del almacenamiento y las tendencias de actividad. Con las métricas gratuitas de Lente de almacenamiento de S3, recibirá 28 métricas de varias categorías a nivel de bucket y 14 días de datos históricos en el panel. Puede filtrar el panel por resumen, optimización de costos, protección de datos, gestión de acceso, rendimiento o eventos para analizar métricas específicas para los casos de uso previstos. Además del panel en la consola de S3, puede exportar métricas en formato CSV o Apache Parquet a un bucket de S3 a su elección para utilizarlas. Para obtener más información sobre las métricas de uso que agrega Lente de almacenamiento de S3, consulte el glosario de métricas de Lente de almacenamiento de Amazon S3.
Métricas y recomendaciones avanzadas
Lente de almacenamiento de S3 ofrece métricas gratuitas para todos los paneles y configuraciones, con la opción de actualizar a métricas y recomendaciones avanzadas por un cargo adicional. Para obtener más información, consulte la pestaña Administración y análisis de la página de precios de Amazon S3.
Al actualizar a las métricas avanzadas de Lente de almacenamiento, recibe 35 métricas adicionales con 15 meses de datos históricos. Las métricas avanzadas brindan información relacionada con la actividad (como el recuento de solicitudes), la optimización de costos profunda (como el recuento de reglas de ciclo de vida de S3), la protección de datos adicionales (como el recuento de reglas de reproducción de S3) y los códigos de estado detallado (como errores de autorización 403). También puede profundizar en el nivel de prefijo para identificar los prefijos más grandes y de crecimiento más rápido dentro de un bucket. Además, puede acceder a las métricas de Lente de almacenamiento de S3 a través de Amazon CloudWatch para crear alarmas o a la API de CloudWatch para enviar métricas a los socios de observabilidad integrados. Puede utilizar la información avanzada para ampliar el uso de las reglas del ciclo de vida a fin de optimizar los costos, identificar buckets con políticas de protección de datos insuficientes y mejorar el rendimiento de las cargas de trabajo de las aplicaciones.
Lente de almacenamiento de S3 ofrece recomendaciones automatizadas para ayudarle a optimizar su almacenamiento. Las recomendaciones se colocan contextualmente junto con las métricas relevantes en el panel de Lente de almacenamiento de S3. Los datos históricos no son elegibles para recomendaciones porque las recomendaciones son relevantes para lo que está sucediendo en el período más reciente. Las recomendaciones solo aparecen cuando son relevantes.
Las recomendaciones de Lente de almacenamiento de S3 vienen en las siguientes formas:
- Sugerencias
Las sugerencias le alertan sobre las tendencias en el uso y la actividad del almacenamiento que podrían indicar una oportunidad para optimizar el costo de almacenamiento o aplicar las prácticas recomendadas de protección de datos. - Llamadas
Las llamadas son recomendaciones que avisan sobre anomalías relevantes en el uso y actividad del almacenamiento durante un período y que podrían requerir una mayor atención o supervisión. - Recordatorios
Los recordatorios proporcionan información sobre el funcionamiento de Amazon S3. Pueden ayudarlo a obtener más información sobre las formas de usar las características de S3 para reducir los costos de almacenamiento o aplicar las prácticas recomendadas de protección de datos.
Lente de almacenamiento de S3 recopila métricas a diario y los datos están disponibles para consultas durante 15 meses. Para obtener más información sobre las métricas de almacenamiento que agrega Lente de almacenamiento de S3, consulte el glosario de métricas de Lente de almacenamiento de Amazon S3.
Paso 1: Cree un panel de Lente de almacenamiento de S3
1.1: Inicie sesión en la consola de administración de AWS con las credenciales de su cuenta. En la barra de búsqueda de servicios de la consola de AWS, ingrese S3. Debajo de la sección de resultados de la búsqueda de servicios, seleccione S3.
1.2: Navegue hasta el elemento del menú Paneles de control en la sección Lente de almacenamiento del panel izquierdo. A continuación, selecciona Crear panel de control.
1.3: En el panel General, ingrese un nombre descriptivo para el panel de control y elija una región de origen. A continuación, elija la opción Habilitar en Estado para obtener métricas diarias actualizadas.
1.4: Un panel de control puede analizar el almacenamiento en todas las cuentas, regiones, buckets y prefijos. En Alcance del panel, elija si desea incluir o excluir determinadas regiones, buckets o ambos para cambiar el alcance de su panel.
Si selecciona el botón Incluir regiones y buckets, tendrá la opción de incluir todas las regiones y buckets, o seleccione qué regiones y buckets desea incluir en el menú desplegable. De lo contrario, si selecciona el botón Excluir regiones y buckets, tendrá la opción de elegir qué regiones y buckets desea excluir desde un menú desplegable.
1.5: En Selección de métricas, elija las opciones que desee usar. Para este tutorial, seleccionamos Métricas y recomendaciones avanzadas e incluimos Métricas avanzadas, Publicación de CloudWatch y Agregación de prefijos. Además, puede elegir las categorías de métricas avanzadas que desea incluir en el panel de control. Para este tutorial, seleccionamos Métricas de actividad, Métricas de código de estado detalladas, Métricas de optimización de costos avanzadas y Métricas de protección de datos avanzada. Puede encontrar una lista detallada de las métricas en el glosario de métricas de la Guía del usuario de Amazon S3.
1.6 : En Exportación de métricas, puede seleccionar Habilitar para que las métricas de su panel de control se exporten a un bucket de S3 específico cada 24 horas.
Si habilita esta opción, tendrá que seleccionar su formato de salida preferido y el bucket de destino.
Para obtener más información, consulte la documentación sobre la exportación de datos de Lente de almacenamiento de S3.
Durante este tiempo, puede salir y volver a este tutorial una vez que se hayan generado las métricas.
Paso 2: Navegue hasta el panel de Lente de almacenamiento de S3
2.1: Acceda a la consola de Amazon S3 y, a continuación, vaya al elemento del menú Paneles, como hizo en el paso 1.2, para volver al panel. Una vez que abra el panel, puede expandir el panel Filtros para filtrar temporalmente los datos del panel por cuentas, regiones, clases de almacenamiento, buckets y prefijos.
2.2: La siguiente sección es una instantánea de una variedad de métricas. Puede ver una línea de tendencia que muestra la tendencia de cada métrica durante los últimos 30 días, si usa métricas avanzadas, y un cambio porcentual (14 días si usa métricas gratuitas o si habilitó las métricas avanzadas hace menos de 30 días). El número de la columna de % de comparación de cambio muestra el cambio porcentual Día/día de forma predeterminada. Puede seleccionar comparar por semana/semana o mes/mes.
Además, puede seleccionar diferentes grupos de métricas para ver la descripción general de la instantánea desde el menú desplegable. Las selecciones incluyen resumen, optimización de costos, protección de datos, actividad, administración de acceso, eventos y rendimiento.
2.3: En el panel Instantáneas, verá la sección Tendencias y distribuciones. En esta sección, puede comparar dos métricas de un intervalo de fechas, que puede especificar, para ver las tendencias a lo largo del tiempo.
2.4: Justo debajo, el panel también muestra esas dos métricas y cómo se distribuyen en la clase de almacenamiento y las regiones de AWS. Puede hacer clic en cualquier valor de este gráfico y profundizar para filtrar todo el panel según ese valor, o seleccionar Analizar por y navegar a una nueva vista de panel basada en esa dimensión.
2.5: La última sección de la pestaña Descripción general le permite realizar un análisis de los N superiores de una métrica en un rango de fechas, donde N está entre 1 y 25. En el ejemplo siguiente, hemos seleccionado los tres elementos principales en orden descendente para la métrica Almacenamiento total.
A continuación, puede ver las tres cuentas, regiones, buckets y prefijos principales según la métrica elegida, junto con las tendencias asociadas.
Puede ver las demás pestañas del panel de control para obtener estadísticas más específicas sobre sus cuentas, regiones, clases de almacenamiento, buckets y prefijos.
Paso 3: Explore los casos de uso de Lente de almacenamiento de S3
Identifique buckets grandes de los que no era consciente (nivel gratuito)
El primer paso para administrar los costos de almacenamiento es obtener una comprensión detallada del uso de S3 por bucket. Con Lente de almacenamiento de S3, puede acceder a una vista centralizada de todos los buckets de la cuenta. Incluso puede configurar un panel a nivel de organización de AWS para ver todos los buckets de todas sus cuentas. El uso de Lente de almacenamiento de S3 facilita la visibilidad de todos los buckets, lo que puede revelar resultados inesperados, como buckets con más objetos de los que esperaba.
3.1: En la parte superior del panel de Lente de almacenamiento de S3, navegue hasta la pestaña Bucket.
3.3: En el gráfico Tendencia de los buckets, puede visualizar no solo qué bucket tiene el almacenamiento total más alto, sino también qué buckets han tenido el mayor crecimiento. En este gráfico, queda claro que bucket1 ha tenido un crecimiento constante y, al mismo tiempo, ha dispuesto del mayor volumen almacenamiento.
Podemos desglosar este bucket para obtener más información, como el tamaño promedio de los objetos, el porcentaje de bytes de la versión no actual o los prefijos más grandes.
3.4 : A continuación, puede navegar hasta el bucket en la consola de Amazon S3 para entender la carga de trabajo asociada e identificar a los propietarios internos del bucket en función del número de cuenta. Después de esto, podrá averiguar mediante los propietarios de los buckets si se espera este crecimiento o si se trata de un crecimiento inesperado que ahora puede supervisar y controlar de manera adecuada.
Aumente el uso de las clases de almacenamiento de S3
Una de las vías más claras para ahorrar costos de almacenamiento es optimizarlo en función de la frecuencia de acceso y las necesidades de rendimiento mediante las clases de almacenamiento de Amazon S3. Amazon S3 ofrece una variedad de clases de almacenamiento entre las cuales puede elegir en función de los requisitos de acceso a los datos, resiliencia y costos de sus cargas de trabajo. Estas clases de almacenamiento incluyen:
- S3 Standard para el almacenamiento de uso general de datos a los que se accede con frecuencia
- S3 Intelligent-Tiering para datos con patrones de acceso desconocidos o cambiantes
- S3 Standard-Infrequent Access (S3 Standard-IA) y S3 Zone-Zone-Infrequent Access (S3 One Zone-IA) para datos de larga duración pero a los que se accede con menos frecuencia
- Amazon S3 Glacier Flexible Retrieval, Amazon S3 Glacier Instant Retrieval y Amazon S3 Glacier Deep Archive para archivar a largo plazo y preservación digital
Si ve que todos o casi todos sus bytes de almacenamiento se encuentran en la clase de almacenamiento S3 Standard, significa que puede optimizar su uso al explorar clases de almacenamiento S3 adicionales para adaptarlos mejor a su caso de uso. Si ve una vista como esta, es probable que pueda beneficiarse al explorar los patrones de diseño de optimización de costos.
En primer lugar, puede automatizar la optimización de costos mediante la clase de almacenamiento S3 Intelligent-Tiering, que es ideal para patrones de acceso desconocidos o cambiantes. En segundo lugar, para los patrones de acceso conocidos, puede configurar las políticas de ciclo de vida de Amazon S3 para reducir los costos de almacenamiento mediante la transición de los datos a clases de almacenamiento más rentables a medida que la frecuencia de acceso disminuye con el tiempo. Consulte la página de precios de Amazon S3 para obtener más información sobre los ahorros exactos y anote los costos adicionales para las transiciones y el uso de las clases de almacenamiento de S3 Glacier por sobrecarga de objeto.
A continuación, puede continuar su análisis en Lente de almacenamiento de S3 para explorar el uso de las clases de almacenamiento a mayor profundidad y profundizar para ver las distribuciones de las clases de almacenamiento para regiones o buckets específicos (o prefijos si ha actualizado al nivel avanzado). Es habitual tener un subconjunto de buckets que no estén configurados de forma óptima, por lo que puede beneficiarse del uso de clases de almacenamiento de S3 diferentes o adicionales. Lente de almacenamiento S3 es una herramienta eficaz para detectar estos buckets antes de tomar medidas adicionales.
Descubra buckets inactivos
Si tiene buckets inactivos, lo que significa que ya no se accede al almacenamiento de esos buckets (o se accede con poca frecuencia), suele ser un indicador de que la carga de trabajo relacionada ya no se utiliza. Si ha habilitado las métricas avanzadas de Lente de almacenamiento de S3, tiene acceso a las métricas de actividad para consultar la frecuencia de acceso a sus buckets. Hay métricas como las solicitudes GET y los bytes de descarga que indican la frecuencia con la que se accede a sus buckets cada día. Puede hacer tendencias a partir de estos datos durante varios meses (la retención de datos ampliada está disponible con el nivel avanzado) para comprender la coherencia de los patrones de acceso y detectar los buckets a los que ya no se accede. La métrica % de tasa de recuperación, calculada como bytes de descarga/almacenamiento total, es una métrica útil para entender la proporción de almacenamiento de un bucket al que se accede a diario. Ten en cuenta que los bytes de descarga se duplican en los casos en que el mismo objeto se descarga varias veces durante el día.
La mejor manera de visualizar los buckets sin actividad es mediante el gráfico Análisis de burbujas en la pestaña Bucket del panel de control. El gráfico de análisis de burbujas le permite trazar sus buckets en varias dimensiones mediante tres métricas para representar el eje x, el eje y y el tamaño de la burbuja.
3.6: Navegue hasta la pestaña Bucket y baje hasta el gráfico Análisis de burbujas. Seleccione Almacenamiento total, % de tasa de recuperación y Tamaño promedio del objeto.
Si profundiza en cualquier bucket con una tasa de recuperación igual a cero (o cercana a cero) y un tamaño de almacenamiento relativo mayor, puede encontrar buckets que hayan visto reducida su actividad y en los que el costo de almacenamiento probablemente sea lo suficientemente elevado como para justificar la adopción de medidas. Para este ejemplo, analizaremos el bucket10 y el bucket1.
Desde aquí, puede identificar a los propietarios de los buckets de su organización para confirmar el propósito de la carga de trabajo y averiguar si aún se necesita el almacenamiento. Si no es necesario, puede corregir los costos si configura políticas de caducidad del ciclo de vida o al archivar los datos en las clases de almacenamiento de Amazon S3 Glacier. Además, para evitar el problema de buckets con períodos de inactividad en el futuro, puede aplicar uno de los patrones de diseño recomendados que se mencionaron anteriormente en esta guía para realizar la transición automática de sus datos mediante las políticas del ciclo de vida de S3 o habilitar el archivado automático con S3 Intelligent-Tiering.
Paso 4: Elimine los recursos
Para este tutorial, le recomendamos que, si encuentra valor en la información que está recuperando, mantenga activas las métricas avanzadas y las recomendaciones. Tenga en cuenta que seguirá incurriendo en gastos si elige esta opción.
Como alternativa, puede optar por dejar de incurrir en costos si desactiva las métricas avanzadas y las recomendaciones. Seguirá teniendo acceso a las métricas gratuitas en el panel de control.
4.2: Pulse el botón Editar en la parte superior derecha de la página de configuración del panel.
4.3: Desplácese hacia abajo hasta el panel de selección de métricas y elija Métricas gratuitas. A continuación, seleccione Guardar cambios.
Conclusión
¡Felicitaciones! Aprendió a crear, configurar y navegar por un panel de Lente de almacenamiento de Amazon S3 y exploró tres casos de uso para optimizar los costos de almacenamiento de objetos.
Pasos siguientes
Para obtener más información sobre Lente de almacenamiento de Amazon S3, visite la guía del usuario y la página del producto de Amazon S3.