Amazon SageMaker Catalog exportiert jetzt Asset-Metadaten als abfragbaren Datensatz
Amazon SageMaker Catalog exportiert jetzt Asset-Metadaten als Apache Iceberg-Tabelle über Amazon S3-Tabellen. Auf diese Weise können Datenteams den Katalogbestand abfragen und Fragen wie „Wie viele Assets wurden im letzten Monat registriert?“ „Welche Assets werden als vertraulich eingestuft?“ oder „Welche Assets haben keine Geschäftsbeschreibungen?“ unter Verwendung von Standard-SQL beantworten, ohne eine benutzerdefinierte ETL-Infrastruktur für die Berichterstattung zu erstellen.
Diese Funktion konvertiert die Metadaten von Katalog-Assets automatisch in eine abfragbare Tabelle, auf die über Amazon Athena, SageMaker Unified Studio-Notebooks, KI-Agenten und andere Analytik- und BI-Tools zugegriffen werden kann. Die exportierte Tabelle enthält technische Metadaten (wie resource_id, resource_type), Geschäftsmetadaten (wie asset_name, business_description), Eigentümerdetails und Zeitstempel. Die Daten werden für Zeitreiseabfragen nach snapshot_date partitioniert und erscheinen automatisch in SageMaker Unified Studio unter dem Bucket aws-sagemaker-catalog.
Diese Funktion ist in allen AWS-Regionen, in denen SageMaker Catalog unterstützt wird, ohne zusätzliche Kosten verfügbar. Sie zahlen nur für die zugrunde liegenden Dienste, einschließlich S3 Tables-Speicher und Amazon Athena-Abfragen. Sie können die Speicherkosten kontrollieren, indem Sie Aufbewahrungsrichtlinien für die exportierten Tabellen festlegen, um Datensätze, die älter als der angegebene Zeitraum sind, automatisch zu entfernen.
Aktivieren Sie zunächst den Datensatzexport mit der AWS-CLI und greifen Sie dann innerhalb von 24 Stunden über S3-Tabellen oder die Daten-Registerkarte von SageMaker Unified Studio auf die Asset-Tabelle zu. Verwenden Sie Amazon Athena oder Studio-Notebooks, oder verbinden Sie externe BI-Tools über den S3 Tables Iceberg REST Catalog-Endpunkt. Anweisungen finden Sie im Amazon SageMaker Benutzerhandbuch.