Veröffentlicht am: Aug 1, 2023
AWS hat die Amazon-Redshift-Integration für Apache Spark als Open Source bereitgestellt, um Apache-Spark-Entwicklern dabei zu helfen, Apache-Spark-Anwendungen nahtlos auf Amazon-Redshift-Daten zu erstellen und auszuführen. Mit dieser Version stellt Amazon Redshift die Amazon Redshift-Beiträge und -Integration für Apache Spark als Open Source bereit und gibt Spark-Entwicklern die Möglichkeit, den Quellcode zu prüfen, zu erweitern, Features beizusteuern und/oder Änderungen vorzunehmen, die den Anforderungen ihrer Spark-Anwendungen entsprechen.
Die Amazon-Redshift-Integration für Apache Spark ist eine Fortsetzung unserer Ankündigung zur allgemeinen Verfügbarkeit dieser Integration im November 2022. Neben der erweiterten Pushdown-Funktionalität bietet diese Version auch Unterstützung für die Integration von AWS Secrets Manager und Unterstützung für Parquet-Schreibvorgänge.
Die Amazon-Redshift-Integration für Apache Spark baut auf einem bestehenden Open-Source-Connector-Projekt auf und verbessert es im Hinblick auf Leistung und Sicherheit, sodass Kunden eine bis zu 10-mal schnellere Anwendungsleistung erzielen können. Wir danken allen, die an diesem Projekt mitgewirkt haben und von denen einige mit uns zusammengearbeitet haben, um dieses Projekt zu verwirklichen. Wenn wir weitere Verbesserungen am Connector vornehmen, werden wir auch weiterhin einen Beitrag zum Open-Source-Projekt leisten. Um mit der Verwendung des Open-Source-Spark Redshift-Connectors zu beginnen, rufen Sie Ihren bevorzugten Open-Source-Apache Spark-Dienst auf. Verwenden Sie von dort ausgehend Data-Frame- oder Spark-SQL-Code in einem Apache-Spark-Job oder -Notebook, um eine Verbindung zum Amazon Redshift-Data Warehouse herzustellen, und beginnen Sie mit der Ausführung von Abfragen in wenigen Minuten. Die Amazon-Redshift-Integration für Apache Spark ist in allen AWS-Regionen verfügbar, in denen Amazon Redshift verfügbar ist. Mehr erfahren Sie unter Amazon Redshift und Amazon Redshift-Integration für Apache Spark.