Amazon S3 Storage Lens
Présentation
S3 Storage Lens offre une visibilité à l’échelle organisationnelle sur l’utilisation du stockage d’objets et les tendances de l’activité. Il formule des recommandations concrètes pour optimiser les coûts, améliorer les performances des applications et renforcer la protection des données. S3 Storage Lens est la première solution d’analyse du stockage dans le cloud à fournir une vue unique de l’utilisation et de l’activité du stockage d’objets sur des milliers de comptes au sein d’une organisation, avec des analyses détaillées pour générer des informations à plusieurs niveaux d’agrégation. S’appuyant sur des années d’expérience à aider les clients à optimiser leur stockage, S3 Storage Lens analyse les métriques à l’échelle de l’organisation pour fournir des recommandations contextuelles qui facilitent la prise de mesures immédiates.
Amazon S3 est utilisé pour stocker de grands jeux de données partagés sur des milliers de comptes et de compartiments, dans plusieurs régions et avec des milliards de préfixes. S3 Storage Lens vous permet de facilement comprendre votre stockage et de l’analyser pour détecter les anomalies. S3 Storage Lens fournit diverses métriques gratuites et avancées sur l’utilisation et l’activité du stockage S3 dans un tableau de bord interactif de la console S3. Des métriques gratuites sont fournies à tous les clients, tandis que des métriques avancées peuvent être activées moyennant des frais de surveillance mensuels par objet afin de recevoir des métriques supplémentaires, des informations au niveau des préfixes, un filtrage de métadonnées personnalisé, une conservation étendue des données et la possibilité de publier des métriques sur Amazon CloudWatch. Pour en savoir plus sur la tarification des métriques avancées, consultez la page de tarification Amazon S3.
Avantages de la mise à niveau vers les métriques Storage Lens Advanced
Les métriques avancées fournissent des informations sur l’activité (telles que le nombre de demandes), l’optimisation approfondie des coûts (telles que le nombre de règles du cycle de vie S3), les métriques de performance avancées (telles que le nombre d’objets et de demandes), la protection supplémentaire des données (telles que le nombre de règles de réplication S3) et les codes d’état détaillés (tels que les erreurs d’autorisation 403).
Les métriques au niveau des préfixes vous permettent d’explorer en détail les préfixes granulaires de votre compartiment, vous offrant ainsi une visibilité sur le stockage et l’activité d’utilisation de milliards de préfixes par compartiment. Consultez les métriques pour chaque préfixe et optimisez votre stockage plus efficacement.
Grâce aux métriques de Storage Lens Advanced, vous obtenez des informations basées sur 15 mois de données historiques. Pour l’exportation de métriques facultative, vous pouvez configurer la période de conservation de votre choix.
Avec les métriques avancées de Storage Lens, vous pouvez accéder aux métriques S3 Storage Lens via Amazon CloudWatch pour créer des alarmes, ou via l’API CloudWatch pour envoyer des métriques à des partenaires d’observabilité intégrés.
Avec les groupes Storage Lens, vous pouvez afficher les statistiques filtrées par balise d’objet, préfixe, suffixe, âge ou taille. Par exemple, vous pouvez filtrer les statistiques par balise d’objet pour identifier vos jeux de données dont la croissance est la plus rapide, ou visualiser votre stockage en fonction de la taille et de l’âge des objets pour éclairer votre stratégie d’archivage de stockage.
Création de filtres personnalisés avec des groupes Storage Lens
Les groupes Storage Lens agrègent des métriques à l’aide de filtres personnalisés basés sur les métadonnées des objets. Les groupes Storage Lens vous permettent d’approfondir les caractéristiques de vos données, telles que la répartition des objets par âge, les types de fichiers les plus courants, etc. Ces informations vous permettent de mieux comprendre et d’optimiser votre stockage S3. Avec les groupes Storage Lens, vous pouvez afficher les statistiques filtrées par balise d’objet, préfixe, suffixe, âge ou taille. Par exemple, vous pouvez filtrer les statistiques par balise d’objet pour identifier vos jeux de données dont la croissance est la plus rapide, ou visualiser votre stockage en fonction de la taille et de l’âge des objets pour éclairer votre stratégie d’archivage de stockage. Pour commencer, vous pouvez créer des groupes Storage Lens via la console S3, l’interface de ligne de commande ou le kit SDK, et les associer à vos tableaux de bord Storage Lens. Consultez la documentation pour en savoir plus.
Upstox
Upstox est l’un des principaux courtiers à escompte indiens qui fournit des informations financières et une plateforme numérique permettant à plus de 11 millions de clients de réaliser des investissements.
« La voie à suivre consiste à continuer d’utiliser Amazon S3 Storage Lens afin de suivre de plus près notre utilisation du stockage et d’améliorer encore la rentabilité. Grâce au tableau de bord interactif de S3 Storage Lens, nous pouvons facilement localiser les hotspots du préfixe S3 où les coûts augmentent et les optimiser à l’aide de politiques de rétention et d’une classe de stockage S3 appropriées afin d’améliorer encore la rentabilité. »
Indranil Chandra, ingénieur principal en machine learning et en données – Upstox
Lire l’étude de cas »
Pinterest est un moteur de découverte visuelle que plus de 400 millions de personnes utilisent chaque mois pour trouver l’inspiration nécessaire à leur vie.
« S3 Storage Lens améliorera notre visibilité sur notre utilisation du stockage et nous aidera à optimiser en permanence nos coûts de stockage. Nous utilisons la vue à l’échelle de l’organisation pour voir l’utilisation agrégée du stockage par nos équipes dans plusieurs régions, puis nous analysons la croissance du stockage au niveau d’un compartiment ou même d’un préfixe.
À l’aide de S3 Storage Lens, nous pouvons ensuite créer différents tableaux de bord pour différentes équipes internes, afin qu’elles puissent trouver des moyens d’optimiser les coûts de stockage en utilisant une politique de Cycle de vie ou en transférant les données vers une classe de stockage plus rentable. »
Yi Yin, ingénieur logiciel – Pinterest
Snowflake
Snowflake fournit le Data Cloud, où des milliers d'organisations mobilisent des données avec une échelle, une simultanéité et des performances quasi illimitées.
« La possibilité d'utiliser des métriques basées sur des préfixes nous sera d'une valeur inestimable. Nous aurons une meilleure idée de l'utilisation de certains préfixes, notamment le stockage total, le nombre d'objets, la taille moyenne des objets et la répartition par versions actuelles et non actuelles, ce qui peut nous aider à corriger les bogues et à suivre les tendances des opérations de manière économique. Cela n'était pas possible avant S3 Storage Lens. »
Ju-Yi Kuo, ingénieur logiciel principal - Snowflake
Veeva
Veeva Systems Inc. est un leader des solutions cloud, y compris en matière de données, de logiciels et de services, dans le secteur mondial des sciences de la vie.
« S3 Storage Lens est très simple à installer et à configurer. Nous avons reçu de bonnes informations sur notre utilisation de S3, ce qui nous a permis de mettre en place des plans d'action visant à optimiser les coûts dans S3. Nous économisons désormais des milliers de dollars par mois en optimisant la façon dont nous stockons les objets dans S3. »
Dan Soble, vice-président des opérations techniques – Veeva
Dropsuite
Dropsuite aide les entreprises de 139 pays à simplement sauvegarder, récupérer et protéger leurs informations commerciales importantes. Sa solution de sauvegarde des e-mails sauvegarde actuellement les données de l’entreprise pour plus d’un million d’utilisateurs individuels.
« Grâce à S3 Storage Lens, nous obtenons une vue macro avec des filtres au niveau du compartiment et de la région, ce qui donne lieu à des conversations sur la conception d’une architecture transformatrice. Nous utilisons les informations fournies par S3 Storage Lens pour analyser les algorithmes de compression, examiner les méthodes de stockage et prendre des décisions concernant la suppression et la gestion des données pour les clients. Sans S3 Storage Lens, nous n’aurions pas accès à ces données d’utilisation granulaires à examiner, à visualiser et à exploiter. Cela nous donne également une visibilité sur les habitudes d’utilisation des données des clients. Grâce à ces précieuses informations à notre disposition, nous avons pu utiliser plus efficacement les classes de stockage Amazon S3. »
Manjor Kalyanaraman, directeur de la technologie – Dropsuite
Lire l’étude de cas »
DoorDash
DoorDash met en relation les consommateurs avec leurs entreprises locales préférées dans plus de 25 pays à travers le monde. Entreprise née dans le cloud, DoorDash héberge la majeure partie de son infrastructure sur AWS, y compris sa plateforme de commerce.
« Une fois que nous avons décidé de creuser plus profondément dans notre utilisation d’Amazon S3 afin d’identifier les possibilités d’efficacité visant à soutenir la croissance future, nous avons commencé notre enquête en utilisant S3 Storage Lens avec des métriques et des recommandations avancées. Nous avons constaté que la capacité d’analyser l’utilisation du stockage et les modèles d’activité au niveau du compartiment S3, du préfixe et de la classe de stockage était inestimable pour identifier les opportunités d’optimisation des coûts. Sans S3 Storage Lens, il aurait fallu beaucoup plus de temps pour examiner et visualiser l’utilisation d’Amazon S3, mais aussi pour améliorer la rentabilité de nos unités de stockage. »
Levon Stepanian, responsable FinOps cloud, DoorDash
Lire le blog »
Comment fonctionne S3 Storage Lens
Tous les clients Amazon S3 peuvent accéder à un tableau de bord interactif S3 Storage Lens dans la console S3, qui contient des vues préconfigurées pour visualiser l’utilisation du stockage et les tendances de l’activité. Avec les métriques gratuites de S3 Storage Lens, vous recevez 62 métriques (uniques et dérivées) de différentes catégories au niveau du compartiment et vous pouvez accéder à 14 jours d’historique de données dans le tableau de bord. Vous pouvez filtrer votre tableau de bord par résumé, optimisation des coûts, protection des données, gestion des accès, performances ou événements afin d’analyser des métriques spécifiques pour les cas d’utilisation que vous avez prévus. Outre le tableau de bord de la console S3, vous pouvez exporter les métriques au format CSV ou Parquet vers un compartiment S3 de votre choix pour une utilisation ultérieure. Pour en savoir plus sur S3 Storage Lens, consultez la documentation.