发布于: Aug 1, 2023
AWS 开源了适用于 Apache Spark 的 Amazon Redshift 集成，帮助 Apache Spark 开发人员在 Amazon Redshift 数据上无缝构建和运行 Apache Spark 应用程序。通过此次发布，Amazon Redshift 开源了适用于 Apache Spark 的 Amazon Redshift 贡献和集成，让 Spark 开发人员能够查看源代码、对其进行扩展、贡献功能和/或进行修改，以满足其 Spark 应用程序需求。
适用于 Apache Spark 的 Amazon Redshift 集成是我们早在 2022 年 11 月就宣布全面推出此项集成的后续行动。除了扩展的下推功能外，此版本还支持 AWS Secrets Manager 集成，并支持 Parquet 写入。
适用于 Apache Spark 的 Amazon Redshift 集成基于现有的开源连接器项目构建，并增强了它的性能和安全性，帮助客户获得速度快 10 倍的应用程序性能。我们感谢该项目的所有贡献者，其中一些人与我们合作实现了这一目标。在进一步增强连接器体验过程中，我们将继续为开源项目做出贡献。要开始使用开源 Spark Redshift 连接器，请访问您最喜欢的开源 Apache Spark 服务。然后，在 Apache Spark 作业或笔记本中使用数据框架或 Spark SQL 代码连接到 Amazon Redshift 数据仓库，并在几分钟内开始运行查询。适用于 Apache Spark 的 Amazon Redshift 集成适用于所有提供 Amazon Redshift 的 AWS 区域。要了解更多信息，请参阅 Amazon Redshift 和适用于 Apache Spark 的 Amazon Redshift 集成。