Amazon SageMaker теперь поддерживает происхождение данных в доменах на основе IAM
Единая студия Amazon SageMaker теперь поддерживает отслеживание происхождения данных, совместимое с OpenLineage, в доменах на основе IAM, фиксируя события происхождения из заданий Apache Spark, выполняемых в Amazon EMR, AWS Glue, Визуальном инструменте ETL SageMaker и блокнотах. Эта возможность уже доступна в доменах на базе IAM Identity Center. Интерактивный граф происхождения данных обеспечивает совокупное визуальное представление того, как данные перемещаются от источника к потребителю, с настраиваемой глубиной графа, режимом меток времени событий для детализированных сведений о происхождении данных на уровне столбцов и представлением только набора данных для упрощенной визуализации. Как для доменов на базе IAM, так и для доменов на базе IAM Identity Center можно программно публиковать сведения о происхождении данных, запрашивать его, а также управлять им, из приложений, совместимых с OpenLineage. Теперь вы также можете удалять опубликованные события с помощью API DeleteLineageEvent.
Данная функция доступна во всех регионах AWS, где предлагается Единая студия Amazon SageMaker. Для начала работы ознакомьтесь с документацией по Единой студии Amazon SageMaker и справкой по API.