Publié le: Aug 1, 2023
AWS lance l'intégration d'Amazon Redshift pour Apache Spark en open source pour permettre aux développeurs Apache Spark de créer et d'exécuter en toute transparence des applications Apache Spark sur des données Amazon Redshift. Avec cette version, Amazon Redshift ouvre les contributions et l'intégration d'Amazon Redshift pour Apache Spark, ce qui permet aux développeurs Spark d'examiner le code source, de l'étendre, de contribuer aux fonctionnalités et/ou d'apporter des modifications qui répondent aux besoins de leurs applications Spark.
L'intégration d'Amazon Redshift pour Apache Spark fait suite à notre annonce de disponibilité générale de cette intégration en novembre 2022. Outre la fonctionnalité pushdown étendue, cette version prend également en charge l'intégration d'AWS Secrets Manager et la prise en charge des écritures Parquet.
L'intégration Amazon Redshift pour Apache Spark s'appuie sur un projet de connecteur open source existant et en améliore les performances et la sécurité, aidant ainsi les clients à obtenir des performances d'application jusqu'à 10 fois supérieures. Nous remercions tous les contributeurs au projet, dont certains ont collaboré avec nous pour le mener à bien. À mesure que nous apporterons de nouvelles améliorations au connecteur, nous continuerons de contribuer au projet open source. Pour commencer à utiliser le connecteur Spark Redshift open source, rendez-vous sur votre service Apache Spark open source préféré. À partir de là, utilisez une trame de données ou un code Spark SQL dans une tâche Apache Spark ou un bloc-notes pour vous connecter à l'entrepôt de données Amazon Redshift, puis commencez à exécuter des requêtes en quelques minutes. L'intégration d'Amazon Redshift pour Apache Spark est disponible dans toutes les régions AWS où Amazon Redshift est disponible. Pour en savoir plus, consultez Amazon Redshift et Intégration Amazon Redshift pour Apache Spark.