Publicado en: Aug 1, 2023
AWS generó la integración de Amazon Redshift para Apache Spark con código abierto a fin de ayudar a los desarrolladores a crear y ejecutar aplicaciones de Apache Spark sin inconvenientes en los datos de Amazon Redshift. Con esta versión, Amazon Redshift genera las contribuciones y la integración de Amazon Redshift para Apache Spark con código abierto, lo que permite a los desarrolladores de Spark revisar el código fuente, ampliarlo, aportar características o realizar modificaciones que satisfagan las necesidades de sus aplicaciones de Spark.
La integración de Amazon Redshift con Apache Spark es una continuación de nuestro anuncio de disponibilidad general de esta integración en noviembre de 2022. Además de la funcionalidad desplegable ampliada, esta versión también admite la integración de AWS Secrets Manager y escrituras de Parquet.
La integración de Amazon Redshift para Apache Spark se basa en un proyecto de conector de código abierto existente e introduce mejoras de rendimiento y seguridad, para que las aplicaciones de los clientes sean hasta 10 veces más rápidas. Agradecemos a todos los colaboradores del proyecto, algunos de los cuales nos ayudaron para que esto fuera posible. A medida que realicemos nuevas mejoras en el conector, seguiremos contribuyendo al proyecto de código abierto. Para empezar a usar el conector Spark Redshift de código abierto, diríjase a su servicio de Apache Spark de código abierto favorito. Desde allí, utilice el marco de datos o el código SQL de Spark en un trabajo o cuaderno de Apache Spark para conectarse al almacén de datos de Amazon Redshift y empezar a ejecutar consultas en cuestión de minutos. La integración de Amazon Redshift para Apache Spark está disponible en todas las regiones de AWS en las que Amazon Redshift está disponible. Para obtener más información, consulte Amazon Redshift y la Integración de Amazon Redshift para Apache Spark.