À mesure que vous passez de centaines à des millions, voire à des milliards d'objets stockés, et de téraoctets à des pétaoctets de données sur Amazon S3, il devient de plus en plus important de gagner en visibilité sur votre utilisation du stockage. Amazon S3 propose un certain nombre de fonctions pour vous permettre de mieux comprendre, analyser et optimiser votre stockage à grande échelle.
Amazon S3 Storage Lens
S3 Storage Lens offre une visibilité à l'échelle de l'organisation sur l'utilisation du stockage d'objets et les tendances de l'activité. Il formule des recommandations concrètes pour optimiser les coûts et appliquer les bonnes pratiques de protection des données. S3 Storage Lens est la première solution d'analyse du stockage dans le cloud à fournir une vue unique de l'utilisation et de l'activité du stockage d'objets sur des centaines, voire des milliers de comptes dans une organisation, avec des analyses détaillées destinées à produire des informations à plusieurs niveaux d'agrégation. S'appuyant sur plus de 16 ans d'expérience à aider les clients à optimiser leur stockage, S3 Storage Lens analyse les métriques à l'échelle de l'organisation pour fournir des recommandations contextuelles qui facilitent la prise de mesures immédiates.
Amazon S3 est utilisé pour stocker de grands jeux de données partagés sur des dizaines ou des centaines de comptes et de compartiments, dans plusieurs régions et avec des milliers de préfixes. S3 Storage Lens vous permet de facilement comprendre votre stockage et de l'analyser pour détecter les valeurs aberrantes. S3 Storage Lens fournit plus de 60 métriques (métriques gratuites et métriques avancées) sur l'utilisation et l'activité du stockage S3 dans un tableau de bord interactif de la console S3. Des métriques gratuites sont fournies à tous les clients, tandis que des métriques avancées peuvent être activées moyennant des frais de surveillance mensuels par objet afin de recevoir des métriques supplémentaires, des informations au niveau des préfixes, une conservation étendue des données, des recommandations et la possibilité de publier des métriques sur Amazon CloudWatch.
Comment fonctionne S3 Storage Lens
Tous les clients Amazon S3 peuvent accéder à un tableau de bord interactif S3 Storage Lens dans la console S3, qui contient des vues préconfigurées pour visualiser l'utilisation du stockage et les tendances de l'activité. Avec les métriques gratuites de S3 Storage Lens, vous recevez 28 métriques de différentes catégories au niveau du compartiment et vous pouvez accéder à 14 jours d'historique de données dans le tableau de bord. Vous pouvez filtrer votre tableau de bord par résumé, optimisation des coûts, protection des données, gestion des accès, performances ou événements afin d'analyser des métriques spécifiques pour les cas d'utilisation que vous avez prévus. Outre le tableau de bord de la console S3, vous pouvez exporter les métriques au format CSV ou Parquet vers un compartiment S3 de votre choix pour une utilisation ultérieure. Pour en savoir plus sur S3 Storage Lens, consultez la documentation.
Métriques avancées de S3 Storage Lens
En effectuant une mise à niveau vers les métriques avancées Storage Lens, vous bénéficiez de 35 métriques supplémentaires avec 15 mois d'historique de données. Les métriques avancées fournissent des informations liées à l'activité (telles que le nombre de requêtes), à une plus grande optimisation des coûts (telles que le nombre de règles du Cycle de vie S3), à une protection supplémentaire des données (telles que le nombre de règles de la Réplication S3) et à des codes d'état détaillés (tels que les erreurs d'autorisation 403). Vous pouvez également accéder au niveau des préfixes pour identifier les préfixes les plus importants et ceux dont la croissance est la plus rapide au sein d'un compartiment. En outre, vous pouvez accéder aux métriques de S3 Storage Lens par le biais d'Amazon CloudWatch pour créer des alarmes, ou de l'API CloudWatch pour envoyer des métriques à des partenaires d'observabilité intégrés. Des informations avancées peuvent être utilisées pour étendre l'utilisation des règles du Cycle de vie afin d'optimiser davantage les coûts, d'identifier les compartiments dont les politiques de protection des données sont insuffisantes et d'améliorer les performances des charges de travail de vos applications. Pour en savoir plus sur la tarification des métriques avancées, consultez la page de tarification Amazon S3.
Présentation approfondie et démonstration de S3 Storage Lens
Clients de S3 Storage Lens
Upstox est l'un des principaux courtiers à escompte indiens qui fournit des informations financières et une plateforme numérique permettant à plus de 11 millions de clients de réaliser des investissements.
« La voie à suivre consiste à continuer d'utiliser Amazon S3 Storage Lens afin de suivre de plus près notre utilisation du stockage et d'améliorer encore la rentabilité. Grâce au tableau de bord interactif de S3 Storage Lens, nous pouvons facilement localiser les points d'accès du préfixe S3 où les coûts augmentent et les optimiser à l'aide de politiques de rétention et d'une classe de stockage S3 appropriées afin d'améliorer encore la rentabilité. »
Indranil Chandra, ingénieur principal en machine learning et en données – Upstox
Pinterest est un moteur de découverte visuelle que plus de 400 millions de personnes utilisent chaque mois pour trouver l'inspiration nécessaire à leur vie.
« S3 Storage Lens améliorera notre visibilité sur notre utilisation du stockage et nous aidera à optimiser en permanence nos coûts de stockage. Nous utilisons la vue à l'échelle de l'organisation pour voir l'utilisation agrégée du stockage par nos équipes dans plusieurs régions, puis nous analysons la croissance du stockage au niveau d'un compartiment ou même d'un préfixe.
À l'aide de S3 Storage Lens, nous pouvons ensuite créer différents tableaux de bord pour différentes équipes internes, afin qu'elles puissent trouver des moyens d'optimiser les coûts de stockage en utilisant une politique de Cycle de vie ou en transférant les données vers une classe de stockage plus rentable. »
Yi Yin, ingénieur logiciel - Pinterest
Snowflake fournit le Data Cloud, où des milliers d'organisations mobilisent des données avec une échelle, une simultanéité et des performances quasi illimitées.
« La possibilité d'utiliser des métriques basées sur des préfixes nous sera d'une valeur inestimable. Nous aurons une meilleure idée de l'utilisation de certains préfixes, notamment le stockage total, le nombre d'objets, la taille moyenne des objets et la répartition par versions actuelles et non actuelles, ce qui peut nous aider à corriger les bogues et à suivre les tendances des opérations de manière économique. Cela n'était pas possible avant S3 Storage Lens. »
Ju-Yi Kuo, ingénieur logiciel principal - Snowflake
Veeva Systems Inc. est un leader des solutions cloud, y compris en matière de données, de logiciels et de services, dans le secteur mondial des sciences de la vie.
« S3 Storage Lens est très simple à installer et à configurer. Nous avons reçu de bonnes informations sur notre utilisation de S3, ce qui nous a permis de mettre en place des plans d'action visant à optimiser les coûts dans S3. Nous économisons désormais des milliers de dollars par mois en optimisant la façon dont nous stockons les objets dans S3. »
Dan Soble, vice-président des opérations techniques - Veeva
Amazon S3 Storage Class Analysis
S3 Storage Class Analysis vous permet de surveiller les modèles d'accès à travers les objets pour vous aider à décider quand transférer les données vers la bonne classe de stockage pour optimiser les coûts. Vous pouvez alors utiliser ces informations pour configurer une politique de Cycle de vie S3 et opérer le transfert de données. Les politiques de Cycle de vie S3 peuvent également s'utiliser pour les objets expirés à la fin de leur cycle de vie. Si vous constatez que vos modèles d'accès changent fréquemment, vous pouvez utiliser S3 Intelligent-Tiering qui déplace automatiquement vos données en fonction de l'évolution des modèles d'accès entre 4 niveaux d'accès, dont un niveau d'accès fréquent, un niveau d'accès peu fréquent moins coûteux, un niveau d'accès aux archives et un niveau d'accès approfondi aux archives pour réaliser des économies. La fonction d'analyse des classes de stockage vous fournit également des affichages quotidiens sur votre utilisation du stockage dans la Console de gestion AWS. Vous pouvez exporter ces affichages vers un compartiment S3 afin de les analyser à l'aide des outils d'informatique décisionnelle de votre choix tels qu'Amazon QuickSight. Pour en savoir plus sur l'analyse des classes de stockage, consultez le guide de documentation de l'analyse des classes de stockage.
Amazon S3 Inventory
Amazon S3 Inventory est une fonction qui vous aide à gérer votre stockage. Amazon S3 Inventory fournit un rapport quotidien ou hebdomadaire de vos objets et de leurs métadonnées correspondantes pour un compartiment ou un préfixe S3. Ce rapport peut être utilisé pour répondre aux besoins commerciaux, de conformité et de réglementation en vérifiant le chiffrement et l'état de la réplication de vos objets. Vous pouvez également utiliser les rapports S3 Inventory pour accélérer les flux de travail d'entreprise et les tâches de big data.
Les rapports S3 Inventory incluent les métadonnées correspondantes, comme les noms des compartiments, les noms des clés, les dates de la dernière modification, la taille de l'objet, la classe de stockage, l'état de réplication ou de chiffrement, mais aussi d'autres propriétés. Les rapports S3 Inventory peuvent être fournis tous les jours ou toutes les semaines et peuvent être chiffrés pour protéger les données sensibles. Ils peuvent également être configurés pour fournir plusieurs rapports comportant différents types de métadonnées adaptées à vos besoins spécifiques. Ils fournissent une liste de vos objets et de leurs métadonnées correspondantes pour un compartiment S3 ou un préfixe partagé, qui peuvent être utilisés pour effectuer une analyse de votre stockage au niveau de l'objet.
Amazon S3 Inventory vous permet de vérifier l'état de chiffrement des objets à des fins de sécurité et de conformité, suivre l'état de réplication des objets vers un autre compartiment S3, accélérer les flux de travail d'enreprise et les tâches de big data, mais aussi d'identifier les objets cibles pour S3 Batch Operations.
Prêt à vous lancer ?
Payez uniquement ce que vous utilisez. Il n'y a pas de frais minimums.
Accédez instantanément à l'offre gratuite AWS et commencez à explorer Amazon S3.
Commencez à créer sur la console AWS avec Amazon S3.