Происхождение данных Apache Spark в Единой студии Amazon SageMaker для доменов на базе IDC
Amazon SageMaker объявляет о появлении общедоступной версии функции определения происхождения данных для заданий Apache Spark, выполняемых над данными Amazon EMR и AWS Glue в Единой студии SageMaker для доменов на базе Центра идентификации (IDC). Происхождение данных предоставляет вам информацию, необходимую для выявления первопричин комплексных проблем и понимания последствий изменений.
Эта функция поддерживает отслеживание происхождения схем и преобразований ресурсов данных и столбцов из выполняемых задач Spark в EMR-EC2, EMR-Serverless, EMR-EKS и AWS Glue. Затем вы можете изучать это происхождение визуально в виде графика в Единой студии SageMaker или отправлять к нему запросы через API-интерфейсы. Вы также можете использовать происхождение данных для сравнения преобразований в истории задачи Spark.
Определение происхождения данных Spark доступно во всех текущих регионах Единой студии SageMaker. Подробную информацию о том, как начать работу с происхождением данных при помощи этих новых функций, см. в документации.