AWS Glue lanza el conector Amazon DynamoDB compatible con Spark DataFrame
AWS Glue ahora admite un nuevo conector de Amazon DynamoDB que funciona de forma nativa con Apache Spark DataFrames. Esta mejora permite a los desarrolladores de Spark trabajar directamente con Spark DataFrames para compartir código fácilmente en AWS Glue, Amazon EMR y otros entornos de Spark.
Anteriormente, los desarrolladores que trabajaban con datos de DynamoDB en AWS Glue debían usar el objeto DynamicFrame específico de Glue. Con este nuevo conector, los desarrolladores ahora pueden reutilizar su código de Spark DataFrame existente con modificaciones mínimas. Este cambio agiliza el proceso de migración de los trabajos a AWS Glue y simplifica el desarrollo de la canalización de datos. Además, el conector desbloquea el acceso a toda la gama de operaciones de Spark DataFrame y a las optimizaciones de rendimiento más recientes.
El nuevo conector está disponible en todas las regiones comerciales de AWS en las que AWS Glue está disponible. Para empezar, consulte la documentación de AWS Glue.