数据沿袭现已在 Amazon DataZone 和下一代 Amazon SageMaker 中全面推出

发布于: 2024年12月3日

AWS 宣布在 Amazon DataZone 和下一代 Amazon SageMaker 中全面推出数据沿袭，该功能可自动捕获 AWS Glue 和 Amazon Redshift 的沿袭，以便可视化从来源到使用的沿袭事件。此功能与 OpenLineage 兼容，允许数据生产者使用从支持 OpenLineage 的系统或通过 API 捕获的沿袭事件来增强自动沿袭，从而为数据使用者提供全面的数据移动视图。

此功能可在工具中自动捕获架构沿袭并转换 AWS Glue、Amazon Redshift 和 Spark 执行的数据资产和列，以保持一致性并减少错误。通过内置的自动化功能，将数据配置为在业务数据目录中共享数据时，域管理员和数据生产者可以自动捕获和存储沿袭事件。数据使用者可以从全面的资产沿袭视图中获得对资产来源的信心，而数据生产者则可以通过了解资产的使用情况来评测资产变化的影响。此外，数据沿袭功能还会对每个事件的沿袭进行版本编排，使用户能够随时对沿袭进行可视化，或者跨资产或任务的历史记录对比转换。这种历史沿袭让用户能更深入地了解数据是如何演变的，对于故障排除、审计和验证数据资产的完整性至关重要。

数据沿袭功能现已在所有提供 Amazon DataZone 和下一代 Amazon SageMaker 的 AWS 区域全面推出。

要了解更多信息，请访问 Amazon DataZone 和下一代 Amazon SageMaker。