Amazon SageMaker Catalog exporte désormais les métadonnées des actifs sous forme de jeu de données interrogeable
Amazon SageMaker Catalog exporte désormais les métadonnées des actifs sous la forme d'un tableau Apache Iceberg via les tableaux Amazon S3. Cela permet aux équipes chargées des données d'interroger l'inventaire du catalogue et de répondre à des questions telles que « Combien d'actifs ont été enregistrés le mois dernier ? », « Quels actifs sont classés comme confidentiels ? » ou « Quels actifs n'ont pas de description commerciale ? » en utilisant le SQL standard sans créer d'infrastructure ETL personnalisée pour les rapports.
Cette fonctionnalité convertit automatiquement les métadonnées des actifs du catalogue en un tableau interrogeable accessible depuis Amazon Athena, les blocs-notes SageMaker Unified Studio, les agents d’IA et d'autres outils d'analytique et de BI. Le tableau exporté inclut des métadonnées techniques (telles que resource_id, resource_type), des métadonnées commerciales (telles que asset_name, business_description), des informations de propriété et des horodatages. Les données sont partitionnées par snapshot_date pour les requêtes de voyage dans le temps et apparaissent automatiquement dans SageMaker Unified Studio sous le compartiment aws-sagemaker-catalog.
Cette fonctionnalité est disponible dans toutes les régions AWS où SageMaker Catalog est pris en charge sans frais supplémentaires. Vous ne payez que pour les services sous-jacents, notamment le stockage des tableaux S3 et les requêtes Amazon Athena. Vous pouvez contrôler les coûts de stockage en définissant des politiques de conservation sur les tableaux exportés afin de supprimer automatiquement les enregistrements antérieurs à la période spécifiée.
Pour commencer, activez l'exportation du jeu de données à l'aide de l'AWS CLI, puis accédez au tableau des actifs via les tableaux S3 ou l'onglet Données de SageMaker Unified Studio dans les 24 heures. Effectuez des requêtes à l'aide d'Amazon Athena, des blocs-notes Studio ou connectez des outils de BI externes via le point de terminaison du catalogue REST Iceberg des tableaux S3 . Pour obtenir des instructions, consultez le Guide de l'utilisateur d'Amazon SageMaker.