Publicado: Aug 1, 2023
A AWS abriu o código-fonte da integração do Amazon Redshift para o Apache Spark para ajudar os desenvolvedores do Apache Spark a criar e executar perfeitamente aplicações do Apache Spark nos dados do Amazon Redshift. Com essa versão, o Amazon Redshift abre o código-fonte das contribuições e da integração do Amazon Redshift para o Apache Spark, capacitando os desenvolvedores do Spark a revisar o código-fonte, ampliá-lo, contribuir com atributos e/ou fazer modificações que atendam às necessidades da aplicação Spark.
A integração do Amazon Redshift com o Apache Spark é uma continuação do nosso anúncio de disponibilidade geral dessa integração em novembro de 2022. Além da funcionalidade de pushdown expandida, essa versão também oferece suporte à integração com o AWS Secrets Manager e suporte para gravações em Parquet.
A integração do Amazon Redshift para Apache Spark é baseada em um projeto de conector de código aberto e o aprimora para oferecer melhor performance e segurança, proporcionando aos clientes ganhos de até dez vezes na performance das aplicações. Agradecemos a todos os colaboradores do projeto, alguns dos quais colaboraram conosco para que isso acontecesse. As melhorias adicionais que desenvolvermos no conector serão contribuídas para o projeto de código aberto original. Para começar a usar o conector Spark Redshift de código aberto, acesse seu serviço Apache Spark de código aberto favorito. A partir daí, use o quadro de dados ou o código SQL do Spark em um trabalho do Apache Spark ou Caderno para se conectar ao data warehouse do Amazon Redshift e começar a executar consultas em minutos. A integração do Amazon Redshift com o Apache Spark está disponível em todas as regiões da AWS nas quais o Amazon Redshift é oferecido. Para saber mais, consulte o Amazon Redshift ou a integração do Amazon Redshift para Apache Spark.