Amazon SageMaker предоставляет настраиваемый транспорт для сообщества OpenLineage и дополнительные возможности определения происхождения
AWS объявляет, что сервис Amazon SageMaker предоставил сообществу OpenLineage специализированный транспорт AmazonDataZoneTransport и расширил возможности автоматизированного анализа происхождения. Связанные с происхождением усовершенствования включают улучшенную автоматизацию для таких источников, как AWS Glue и Amazon Redshift, а также автоматизированный сбор данных о происхождении из различных инструментов, позволяющий специалистам по обработке и анализу данных и инженерам более эффективно работать со своими данными и моделями.
Новый «специализированный транспорт», представленный сообществу OpenLineage, позволяет разработчикам загружать транспорт вместе с плагинами OpenLineage для дополнения и автоматизации событий происхождения, получаемых из поддерживающих OpenLineage систем. За счет этого клиенты могут автоматизировать сбор данных о происхождении и отправлять необходимые события в домен Единой студии SageMaker, чтобы лучше управлять данными и отслеживать их в своих рабочих процессах. Сервис Amazon SageMaker также внедряет расширенные возможности для автоматического определения происхождения из разных источников. Эти усовершенствования включают улучшенную поддержку событий происхождения из AWS Glue и Amazon Redshift, а также автоматический сбор данных о происхождении с помощью таких инструментов, как записные книжки и процессы VeTL. Кроме того, SageMaker улучшает поддержку происхождения в SQL, особенно для Amazon Redshift, добавляя новые функции, например поддержку хранимых процедур и материализованных представлений. Эти усовершенствования позволяют автоматически фиксировать происхождение сложных операций с данными, обеспечивая более полное представление о преобразованиях данных и зависимостях.
Данная функция доступна во всех регионах AWS, где предлагается Amazon SageMaker.
Подробнее о представленном специализированном транспорте и расширенных возможностях определения происхождения, см. на странице Amazon SageMaker. Подробную информацию о том, как начать работу с происхождением при помощи этих новых функций, см. в документации пользователя.