Création d'applications Apache Spark qui lisent et écrivent des données à partir d'Amazon Redshift
L'intégration Amazon Redshift pour Apache Spark simplifie et accélère les applications Apache Spark accédant aux données Amazon Redshift à partir des services d'analytiques AWS tels qu'Amazon EMR, AWS Glue et Amazon SageMaker. À l'aide d'Amazon EMR, AWS Glue et SageMaker, vous pouvez créer rapidement des applications Apache Spark pour lire et écrire dans votre entrepôt des données Amazon Redshift, sans compromettre les performances ou la régularité transactionnelle. L'intégration d'Amazon Redshift pour Apache Spark utilise également des informations d'identification basées sur AWS Identity and Access Management (IAM) pour renforcer la sécurité. Avec l'intégration Amazon Redshift pour Apache Spark, il n'y a aucune configuration ou maintenance manuelle de versions non certifiées de connecteurs tiers à effectuer. Vous pouvez démarrer avec des tâches Apache Spark en utilisant des données d'Amazon Redshift en quelques secondes seulement. Cette nouvelle intégration améliore sensiblement les performances des applications Apache Spark utilisant les données Amazon Redshift.
Avantages
Amélioration des analytiques Apache Spark grâce aux données Amazon Redshift
Augmentez considérablement le nombre de sources de données exploitables dans vos applications d'analytiques et de machine learning (ML) exécutées dans Amazon EMR, AWS Glue ou SageMaker en lisant et écrivant des données dans votre entrepôt des données.
Accès aux données Amazon Redshift avec une configuration minimale
Simplifiez le processus de configuration souvent manuel et fastidieux de connecteurs non certifiés et de pilotes JDBC, réduisant ainsi le temps de préparation des tâches liées au ML et aux analytiques.
Amélioration des performances et de la sécurité avec un connecteur certifié Amazon
Utilisez plusieurs fonctionnalités de filtration pushdown telles que le tri, l'agrégation, la limitation, la jointure et les fonctions scalaires afin que seules les données pertinentes soient déplacées de l'entrepôt des données Amazon Redshift.
Fonctionnement
Le diagramme est composé de trois colonnes principales. La colonne de gauche comprend trois cases disposées verticalement (de haut en bas) : AWS Glue, Amazon EMR et Amazon SageMaker. Ces cases pointent toutes vers la colonne/case centrale, qui indique « Accéder aux données dans Amazon Redshift via des applications Apache Spark. » La case centrale pointe vers une case à l'extrême droite qui indique « Amazon Redshift. »
Cas d'utilisation
Création d'applications ETL, ML et interactives
Créez des applications Apache Spark en Java, Scala et Python avec les services d'analyse AWS basés sur Apache Spark.
Connexion à votre entrepôt des données Amazon Redshift
Lisez et écrivez des données vers et depuis Amazon Redshift avec Amazon EMR, AWS Glue, SageMaker et les services AWS analytics et ML.
Exécution de requêtes en quelques secondes
Utilisez Amazon EMR ou AWS Glue afin d'extraire le code de la trame de données de votre tâche ou bloc-notes Apache Spark et vous connecter à Amazon Redshift.
Connecteur certifié AWS pour une utilisation immédiate
Rationalisez votre processus sans installation ni test, avec une sécurité renforcée (informations d'identification basées sur IAM) et des repoussoirs opérationnels, ainsi qu'un format de fichier Parquet pour les performances.
Clients
Huron est une firme de services professionnels d'envergure internationale qui collabore avec ses clients afin d'élaborer des stratégies concrètes et des opérations d'optimisation, accélérer la transformation numérique et permettre aux entreprises et à leurs employés de prendre le contrôle de leur avenir.
« Nous donnons à nos ingénieurs les moyens de créer leurs pipelines de données et leurs applications avec Apache Spark via les langages Python et Scala. Nous recherchions une solution sur mesure simplifiant les opérations et optimisant le processus de livraison à nos clients. C'est ce que nous offre la nouvelle intégration Amazon Redshift pour Apache Spark. »
Corey Johnson, responsable de l'architecture de données - Huron Consulting
GE Aerospace est un fournisseur mondial de moteurs à réaction, de composants et de systèmes pour avions commerciaux et militaires. L'entreprise conçoit, développe et fabrique des moteurs à réaction depuis la Première Guerre mondiale.
« GE Aerospace utilise les analytiques AWS et Amazon Redshift pour obtenir des informations commerciales critiques sur lesquelles sont basées les décisions commerciales importantes. Grâce à la prise en charge de la copie automatique depuis Amazon S3, nous pouvons créer des pipelines de données plus simples pour déplacer les données d'Amazon S3 vers Amazon Redshift. Ainsi, nous optimisons la capacité de nos équipes de produits de données à accéder aux données et à fournir des informations aux utilisateurs finaux. Nous passons désormais plus de temps à ajouter de la valeur grâce aux données et moins de temps aux intégrations. »
Alcuin Weidus, architecte de données principal - GE Aerospace
Le groupe Goldman Sachs Group, Inc. est une institution financière mondiale de premier plan qui offre une large gamme de services financiers dans les domaines de la banque d'investissement, des valeurs mobilières, de la gestion des investissements et des services bancaires aux particuliers à une clientèle large et diversifiée comprenant des entreprises, des institutions financières, des gouvernements et des particuliers.
« Notre objectif est de fournir un accès en libre-service aux données pour l'ensemble de nos utilisateurs chez Goldman Sachs. Grâce à Legend, notre plateforme open source de gestion et de gouvernance des données, nous permettons aux utilisateurs de développer des applications centrées sur les données et obtenir des informations basées sur les données tout au long de notre collaboration dans l'industrie des services financiers. Avec l'intégration d'Amazon Redshift pour Apache Spark, notre équipe de plateforme de données aura accès aux données Amazon Redshift avec un minimum d'étapes manuelles, ce qui permettra des processus ETL sans code et augmentera la capacité de nos ingénieurs à se concentrer plus facilement sur le perfectionnement de leur flux au fur et à mesure qu'ils collectent des informations complètes et pertinentes. Nous nous attendons à constater une amélioration des performances des applications et une sécurité améliorée, car nos utilisateurs peuvent désormais accéder facilement aux dernières données Amazon Redshift. »
Neema Raphael, directeur des données – Goldman Sachs
Ressources
Regardez la vidéo technique sur l'intégration Amazon Redshift pour Apache Spark.
Lisez le guide de gestion technique sur l'intégration Amazon Redshift pour Apache Spark.
Démarrer avec Amazon Redshift
Découvrez Amazon Redshift grâce à ce guide de gestion Amazon Redshift pour démarrer avec un service d'entrepôt des données entièrement géré, à l'échelle du pétaoctet, dans le Cloud.
Déplacez des données vers et depuis Amazon Redshift avec des tâches d'extraction, de transformation et de chargement (ETL) AWS Glue.
Découvrez les types de connexion et les options pour processus ETL dans AWS Glue.