Amazon SageMaker Catalog já exporta metadados de ativos como conjunto de dados consultável
Agora, o Amazon SageMaker Catalog exporta metadados de ativos como uma tabela do Apache Iceberg usando as Tabelas do Amazon S3. Dessa forma, as equipes de dados podem consultar o inventário do catálogo e responder a perguntas como: “Quantos ativos foram registrados no mês passado?”, “Quais ativos são classificados como confidenciais?” ou “Quais ativos não têm descrições comerciais?” usando SQL padrão sem criar uma infraestrutura de ETL personalizada para relatórios.
Esse recurso converte automaticamente os metadados dos ativos do catálogo em uma tabela que pode ser consultada usando Amazon Athena, cadernos do Estúdio Unificado SageMaker, agentes de IA e outras ferramentas de analytics e BI. A tabela exportada inclui metadados técnicos (como resource_id, resource_type), metadados comerciais (como asset_name, business_description), detalhes de propriedade e carimbos de data/hora. Os dados são particionados por snapshot_date para consultas de viagem no tempo e aparecem automaticamente no bucket aws-sagemaker-catalog do Estúdio Unificado SageMaker.
Esse recurso está disponível sem custo adicional em todas as regiões da AWS que oferecem o SageMaker Catalog. Você paga somente pelos serviços associados, incluindo o armazenamento de Tabelas do S3 e as consultas do Amazon Athena. Você pode controlar os custos de armazenamento definindo políticas de retenção nas tabelas exportadas para remover automaticamente os registros anteriores ao período especificado.
Para começar a usar, ative a exportação do conjunto de dados usando a AWS CLI e acesse a tabela de ativos por meio das Tabelas do S3 ou da guia “Dados” do Estúdio Unificado SageMaker em até 24 horas. Faça as consultas usando Amazon Athena e cadernos do Studio ou conecte ferramentas externas de BI por meio do endpoint de catálogo REST do Iceberg das Tabelas do S3. Para ver as instruções, consulte o guia do usuário do Amazon SageMaker.