Amazon SageMaker による OpenLineage コミュニティへのカスタムトランスポートの提供および他のリネージ機能の追加
AWS は、Amazon SageMaker が OpenLineage コミュニティにカスタムトランスポート「AmazonDataZoneTransport」を提供し、自動リネージ機能を強化したことを発表しました。このリネージ機能の強化には、AWS Glue、Amazon Redshift などのソースからの自動化やツールからの自動リネージキャプチャに関する改善が含まれます。これにより、データサイエンティストやエンジニアはデータやモデルをより効率的に扱うことができます。
OpenLineage コミュニティにこの新しい「カスタムトランスポート」が提供されたことにより、ビルダーは OpenLineage プラグインとともにこのトランスポートをダウンロードできます。これにより、OpenLineage に対応するシステムからキャプチャされたリネージイベントを拡張および自動化できます。これにより、お客様はリネージのキャプチャを自動化し、これらのリネージイベントを SageMaker Unified Studio ドメインに送信できるため、データワークフロー内のデータガバナンスとトレーサビリティが強化されます。Amazon SageMaker では、さまざまなソースに対応した、強化された自動リネージ機能も導入されています。これらの改善には、AWS Glue、Amazon Redshift からのリネージイベントのサポート強化、vETL プロセスやノートブックなどのツールからの自動リネージキャプチャが含まれます。さらに、SageMaker は、ストアドプロシージャやマテリアライズドビューのサポートなどの新機能により、特に Amazon Redshift 向けの SQL リネージサポートを改善しました。これらの機能強化により、複雑なデータ操作に関するリネージを自動的にキャプチャできるため、データ変換と依存関係をより包括的に把握できるようになります。
この機能は、Amazon SageMaker が利用できるすべての AWS リージョンで利用可能です。
カスタムトランスポートの提供と強化されたリネージ機能の詳細については、Amazon SageMaker のページをご覧ください。これらの新機能を使用してリネージを利用開始する方法の詳細については、ユーザードキュメントを参照してください。