投稿日: Aug 1, 2023
AWS は、Amazon Redshift の Apache Spark との統合をオープンソース化しました。これは、Apache Spark のデベロッパーが Amazon Redshift データ上で Apache Spark アプリケーションをシームレスに構築して実行できるようにするためです。Amazon Redshift はこのリリースで、Amazon Redshift の Apache Spark 向けのコントリビューションと統合をオープンソース化しています。これにより、Spark デベロッパーは Spark アプリケーションのニーズに合わせてソースコードのレビュー、拡張、機能の提供、変更を行うことができます。
Amazon Redshift の Apache Spark との統合は、2022 年 11 月に発表した、こちらの統合の一般提供開始に関する発表に続くものです。このリリースでは、プッシュダウン機能の拡張に加えて、AWS Secrets Manager の統合と Parquet への書き込みのサポートも含まれています。
Amazon Redshift の Apache Spark との統合は既存のオープンソースコネクタプロジェクトに構築され、パフォーマンスとセキュリティを向上させ、アプリケーションパフォーマンスを最大で 10 倍高速化するのに役立ちます。このプロジェクトのすべてのコントリビューターの方々、そして、その中で、これを実現するためにご協力いただいた方々に感謝いたします。今後、コネクタへのさらなる改良を加え、オープンソースプロジェクトへの AWS からの貢献を継続します。オープンソースの Spark Redshift コネクタの使用を開始するには、任意のオープンソースの Apache Spark サービスにアクセスします。そこから、Apache Spark ジョブまたはノートブックのデータフレームまたは Spark SQL コードを使用して Amazon Redshift データウェアハウスに接続し、数分でクエリの実行を開始できます。Amazon Redshift の Apache Spark との統合は、Amazon Redshift が利用可能なすべての AWS リージョンで利用できます。詳細については、Amazon Redshift および Amazon Redshift の Apache Spark との統合をご覧ください。