게시된 날짜: Aug 1, 2023
AWS는 Apache Spark용 Amazon Redshift 통합 기능을 오픈 소스로 제공하여 Apache Spark 개발자가 Amazon Redshift 데이터에서 Apache Spark 애플리케이션을 원활하게 구축하고 실행할 수 있도록 지원합니다. 이번 릴리스를 통해 Amazon Redshift는 Apache Spark용 Amazon Redshift 기여 및 통합을 오픈 소스로 제공하여 Spark 개발자가 소스 코드를 검토하고, 확장하고, 기능 기여 및/또는 Spark 애플리케이션 요구에 맞게 수정할 수 있도록 지원합니다.
Apache Spark용 Amazon Redshift 통합 기능은 2022년 11월에 있었던 이 통합 기능의 정식 출시 발표에 대한 후속 조치입니다. 이번 릴리스에서는 확장된 푸시다운 기능 외에도 AWS Secrets Manager 통합 및 Parquet 쓰기 지원도 지원합니다.
Apache Spark용 Amazon Redshift 통합 기능은 기존 오픈 소스 커넥터 프로젝트를 토대로 제작되었지만 성능과 보안은 더욱 향상되었습니다. 따라서 고객은 애플리케이션 성능을 최대 10배까지 높일 수 있습니다. 이 프로젝트에 기여한 모든 분들을 인정하며, 기여자 중 일부는 이번 릴리스를 위해 함께 협력했습니다. 커넥터의 기능을 추가로 개선함에 따라 오픈 소스 프로젝트를 계속 개선할 예정입니다. 오픈 소스 Spark Redshift 커넥터 사용을 시작하려면 선호하는 오픈 소스 Apache Spark 서비스로 이동하세요. 여기에서 Apache Spark 작업 또는 노트북의 데이터 프레임이나 Spark SQL 코드를 사용하여 Amazon Redshift 데이터 웨어하우스에 연결하고 몇 분 만에 쿼리를 실행할 수 있습니다. Apache Spark용 Amazon Redshift 통합 기능은 Amazon Redshift가 제공되는 모든 AWS 리전에서 사용할 수 있습니다. 자세한 내용은 Amazon Redshift 및 Apache Spark용 Amazon Redshift 통합을 참조하세요.