Amazon SageMaker, OpenLineage 커뮤니티에 사용자 지정 전송 기능 기여 및 추가 계보 기능 제공
AWS는 Amazon SageMaker가 OpenLineage 커뮤니티에 사용자 지정 전송 기능인 'AmazonDataZoneTransport'을 기여하고 자동화된 계보 기능을 강화했다고 발표했습니다. 이번 계보 기능 강화에는 AWS Glue, Amazon Redshift 등과 같은 소스에서의 자동화 개선, 다양한 도구로부터의 계보 자동 수집 기능이 포함되어 있어, 데이터 과학자와 엔지니어가 데이터 및 모델을 더욱 효율적으로 활용할 수 있게 됩니다.
OpenLineage 커뮤니티에 기여한 이번 '사용자 지정 전송' 기능을 통해 빌더는 OpenLineage 플러그인과 함께 해당 전송을 다운로드하여 OpenLineage 지원 시스템에서 수집된 계보 이벤트를 보강하고 자동화할 수 있습니다. 이를 통해 고객은 계보 수집을 자동화하고 이러한 계보 이벤트를 SageMaker Unified Studio 도메인으로 전송하여 데이터 워크플로 내에서 데이터 거버넌스 및 추적성을 강화할 수 있습니다. 아울러 Amazon SageMaker는 다양한 소스에서의 자동 계보 수집 기능을 더욱 향상시켰습니다. 이번 개선 사항에는 AWS Glue, Amazon Redshift에서의 계보 이벤트에 대한 지원 개선, vETL 프로세스 및 노트북과 같은 도구에서의 자동 계보 수집 기능이 포함되어 있습니다. 추가로 SageMaker는 특히 Amazon Redshift를 위한 SQL 계보 지원도 개선했으며, 저장 프로시저 및 구체화 뷰 지원과 같은 새로운 기능이 포함되어 있습니다. 이러한 기능 향상을 통해 복잡한 데이터 작업의 계보를 자동으로 수집할 수 있어, 데이터 변환 및 종속성을 좀 더 포괄적으로 파악할 수 있게 되었습니다.
이 기능은 Amazon SageMaker가 제공되는 모든 AWS 리전에서 사용할 수 있습니다.
사용자 지정 전송 기여 및 강화된 계보 기능에 대해 자세히 알아보려면 Amazon SageMaker 페이지로 이동하세요. 이 새로운 기능을 활용해 계보 사용을 시작하는 방법에 대한 자세한 내용은 사용자 설명서를 참조하세요.