Amazon SageMaker Unified Studio ahora es compatible con AWS Glue 5.1 para trabajos de procesamiento de datos
Amazon SageMaker Unified Studio ahora es compatible con AWS Glue 5.1 para trabajos de procesamiento de datos basados en código, notebook y ETL Visual. Con AWS Glue 5.1 en Amazon SageMaker Unified Studio, los ingenieros de datos y los científicos de datos pueden poner en marcha trabajos en Apache Spark 3.5.6 con Python 3.11 y Scala 2.12.18, además de utilizar bibliotecas de formato de tabla abierta actualizadas, como Apache Iceberg 1.10.0, Apache Hudi 1.0.2 y Delta Lake 3.3.2.
Puede usar AWS Glue 5.1 en Amazon SageMaker Unified Studio al crear trabajos de procesamiento de datos; para ello, seleccione Glue 5.1 en el menú desplegable de versiones de la configuración del trabajo. Esto se aplica a los trabajos de ETL Visual, los trabajos de notebook y los trabajos basados en código, por lo que puede aprovechar las últimas bibliotecas de formato de tabla abierta y la versión ejecutable de Spark en todos sus flujos de trabajo de procesamiento de datos.
AWS Glue 5.1 en Amazon SageMaker Unified Studio está disponible en todas las regiones en las que está disponible Amazon SageMaker Unified Studio. Para obtener más información, consulte la documentación de Amazon SageMaker Unified Studio. Para obtener más información sobre lo que incluye AWS Glue 5.1, incluida la compatibilidad actualizada con el formato de tabla abierta y las funciones de control de acceso, consulte la documentación de AWS Glue.