Функция анализа происхождения данных теперь общедоступна в Amazon DataZone и Amazon SageMaker нового поколения
AWS объявляет о всеобщей доступности сервиса Data Lineage в Amazon DataZone и Amazon SageMaker нового поколения, обеспечивающего автоматическую фиксацию сведений о происхождении данных из AWS Glue и Amazon Redshift для визуализации соответствующих событий от источника до потребления. Будучи совместимой с OpenLineage, эта функция позволяет производителям данных дополнять автоматически полученные сведения о происхождении данных событиями из систем с поддержкой OpenLineage или через API, чтобы предоставить потребителям данных полное представление о перемещении данных.
Эта функция автоматизирует отслеживание происхождения схем и преобразований ресурсов данных и столбцов из AWS Glue, Amazon Redshift и Spark с помощью инструментов для поддержания согласованности и уменьшения количества ошибок. Благодаря встроенной автоматизации администраторы доменов и производители данных могут автоматизировать сбор и хранение событий происхождения данных, если для этих данных настроено совместное использование в каталоге бизнес-данных. Потребители данных могут быть уверены в происхождении ресурсов на основе всестороннего анализа происхождения данных, а поставщики данных могут оценить влияние изменений на ресурс, проанализировав его потребление. Кроме того, функция анализа происхождения данных фиксирует каждое событие, что позволяет визуализировать происхождение данных в любой момент времени или сравнивать преобразования в рамках истории задания или ресурса. Эти исторические данные позволяют подробнее анализировать эволюцию данных, что крайне необходимо для устранения неполадок, аудита и проверки целостности ресурсов.
Функция анализа происхождения данных является общедоступной во всех регионах AWS, в которых предоставляются Amazon DataZone и Amazon SageMaker нового поколения.
Чтобы узнать больше, посетите страницы об Amazon DataZone и Amazon SageMaker нового поколения.