Amazon DataZone と次世代の Amazon SageMaker でデータリネージの一般提供を開始
AWS は、Amazon DataZone でのデータリネージと次世代の Amazon SageMaker の一般提供を開始したことを発表しました。Amazon SageMaker は、AWS Glue と Amazon Redshift からリネージを自動的にキャプチャして、ソースから使用までのリネージイベントを可視化する機能です。この機能は OpenLineage と互換性があるため、データプロデューサーは OpenLineage 対応システムまたは API 経由でキャプチャされたリネージイベントで自動リネージを補完し、データコンシューマーにデータ移動の包括的な視点を提供できます。
この機能により、AWS Glue、Amazon Redshift、および Spark の実行からデータ資産や列のスキーマおよび変換のリネージのキャプチャが自動化され、一貫性を保ちながら、エラーが減少します。組み込みの自動化機能により、ビジネスデータカタログでデータを共有するようにデータが構成されている場合、ドメイン管理者とデータプロデューサーはリネージイベントのキャプチャと保存を自動化できます。データコンシューマーは、そのリネージを包括的に把握することでデータ資産のオリジンの信頼性を確保することが可能になり、データプロデューサーはデータ資産の使用状況を把握することでデータ資産への変更の影響を評価できます。さらに、Amazon DataZone はイベントごとにリネージをバージョン管理するため、ユーザーは任意の時点のリネージを可視化したり、データ資産やジョブの履歴全体で変換を比較したりできるようになります。このリネージ履歴により、データがどのように進化してきたかをより深く理解することができ、データ資産の整合性のトラブルシューティング、監査、および検証に不可欠です。
データリネージ機能は、Amazon DataZone と次世代の Amazon SageMaker が利用可能なすべての AWS リージョンで一般提供されています。
詳細については、Amazon DataZone と次世代の Amazon SageMaker をご覧ください。