Amazon SageMaker introduce un trasporto personalizzato nella community OpenLineage e offre funzionalità aggiuntive di lineage
AWS annuncia che Amazon SageMaker ha contribuito alla community OpenLineage con un trasporto personalizzato denominato "AmazonDataZoneTransport" e ha migliorato le funzionalità di lineage automatizzato. Questi miglioramenti includono un'automazione più avanzata del lineage da fonti come AWS Glue, Amazon Redshift e da strumenti che catturano automaticamente il lineage, consentendo a data scientist e ingegneri di lavorare più efficacemente con dati e modelli.
Il nuovo contributo del "trasporto personalizzato" alla community OpenLineage consente agli sviluppatori di scaricare il trasporto e i plugin di OpenLineage per potenziare e automatizzare gli eventi di lineage acquisiti dai sistemi compatibili con OpenLineage. In questo modo i clienti possono automatizzare l'acquisizione degli eventi di lineage e inviarli al dominio di SageMaker Unified Studio, migliorando la governance dei dati e la tracciabilità all'interno dei flussi di lavoro dei dati. Amazon SageMaker ha anche introdotto funzionalità avanzate di lineage automatizzato da diverse fonti. Questi miglioramenti includono un supporto ottimizzato per gli eventi di lineage da AWS Glue, Amazon Redshift e l'acquisizione automatizzata del lineage da strumenti come i processi vETL e i notebook. Amazon SageMaker ha inoltre potenziato il supporto per il lineage SQL, in particolare per Amazon Redshift, introducendo nuove funzionalità che comprendono il supporto per procedure archiviate e viste materializzate. Questi aggiornamenti consentono l'acquisizione automatica del lineage anche per operazioni sui dati complesse, offrendo una visione più completa delle trasformazioni e delle dipendenze dei dati.
La funzionalità è disponibile in tutte le regioni AWS in cui è supportato Amazon SageMaker.
Per ulteriori informazioni sul contributo di trasporto personalizzato e sulle funzionalità avanzate di lineage, vai alla pagina di Amazon SageMaker. Per informazioni dettagliate su come iniziare a utilizzare il lineage con queste nuove funzionalità, consulta la documentazione per l'utente.