Capacités d’Amazon Redshift

Analysez toutes vos données unifiées à l’aide de SQL grâce à l’intégration d’Amazon Redshift à SageMaker Lakehouse. Interrogez les données Amazon Simple Storage Service (Amazon S3) dans des formats ouverts, en supprimant les mouvements de données entre les lacs et les entrepôts. Ouvrez vos données Amazon Redshift dans SageMaker Lakehouse pour permettre l’accès aux outils d’analytiques AWS et Apache Iceberg, ce qui permet une analyse complète des données et du machine learning (ML).

Amazon Redshift prend en charge les requêtes en lecture seule à l’aide du langage SQL ANSI familier sur les formats de table Apache Iceberg, Apache Hudi et Delta Lake, ainsi que les requêtes sur les formats de fichiers ouverts, notamment Apache Parquet, ORC, Avro, JSON et CSV, directement dans Amazon S3. Apache Iceberg est un exemple de format de table open source qui assure une cohérence transactionnelle et une meilleure organisation des lacs de données grâce à sa structure de tables. Amazon Redshift Spectrum vous permet de lire des tables et des données dans des formats de données ouverts tels que Parquet dans votre lac de données, tout en conservant jusqu’à des exaoctets de données structurées, semi-structurées et non structurées dans Amazon S3. Vous pouvez également exporter des données vers votre lac de données à l’aide de la commande Amazon Redshift UNLOAD, y compris l’option d’exportation vers Parquet. L’exportation de données depuis Amazon Redshift vers votre lac de données vous permet de les analyser plus en profondeur à l’aide de services AWS tels qu’Amazon Athena, Amazon EMR et SageMaker.

Utilisez SQL pour rendre vos données et lac de données Amazon Redshift plus accessibles aux analystes de données, aux ingénieurs de données et à d'autres utilisateurs SQL avec une référence d'analyste sur le Web pour l'exploration et l'analyse des données. L’éditeur de requêtes vous permet de visualiser les résultats des requêtes en une seule étape, de créer des schémas et des tables, de charger visuellement des données et de parcourir les objets de la base de données. Il offre également un éditeur intuitif pour créer et partager des requêtes SQL, des analyses, des visualisations et des annotations et les partager en toute sécurité avec votre équipe.

Utilisez l’éditeur SQL intégré optimisé par Amazon Redshift dans SageMaker Unified Studio, un environnement de développement de données et d’IA unique, pour interroger les données stockées dans des lacs de données, des entrepôts de données, des bases de données et des applications.

Simplifiez et automatisez l’ingestion de données à partir d’Amazon S3, en réduisant le temps et les efforts nécessaires à la création de solutions personnalisées ou à la gestion de services tiers. Grâce à cette fonctionnalité, Amazon Redshift élimine la nécessité d’exécuter manuellement et à plusieurs reprises des procédures de copie en automatisant l’ingestion de fichiers et en prenant en charge les étapes de chargement continu des données sous le capot. La prise en charge de la copie automatique facilite la tâche des utilisateurs opérationnels et des analystes de données qui n’ont pas de connaissances en ingénierie des données pour créer des règles d’ingestion et configurer l’emplacement des données qu’ils souhaitent charger à partir d’Amazon S3.

Utilisez SQL pour vous connecter aux données d’Amazon Kinesis Data Streams et d’Amazon Managed Streaming for Apache Kafka (Amazon MSK) et les ingérer directement. Amazon Redshift Streaming Ingestion facilite également la création et la gestion de pipelines en aval en vous permettant de créer directement des vues matérialisées au-dessus des flux. Les vues matérialisées peuvent également inclure des transformations SQL dans le cadre de votre pipeline ELT. Vous pouvez rafraîchir manuellement les vues matérialisées définies pour interroger les données en continu les plus récentes.

Effectuez des requêtes sur des données en direct dans une ou plusieurs instances Amazon RDS, y compris les bases de données Amazon Aurora PostgreSQL-Édition compatible, des bases de données relationnelles Amazon (Amazon RDS) for MySQL et Amazon Aurora MySQL-Édition compatible, afin d’obtenir une visibilité instantanée sur l’ensemble des opérations de l’entreprise sans avoir à déplacer les données.

Exécutez des analytiques en quelques secondes et mettez à l'échelle sans avoir à configurer et à gérer une infrastructure d'entrepôt des données. La technologie de mise à l’échelle et d’optimisation pilotée par l’IA (disponible en avant-première) permet à Amazon Redshift sans serveur de provisionner et de mettre à l’échelle automatiquement et de manière proactive la capacité de l’entrepôt de données, offrant ainsi des performances rapides même pour les charges de travail les plus exigeantes. Le système utilise des techniques d'IA pour apprendre les modèles de charge de travail des clients à travers des dimensions clés, telles que les requêtes simultanées, la complexité des requêtes, l'afflux de volume de données et les modèles ETL. Il ajuste ensuite continuellement les ressources tout au long de la journée et applique des optimisations de performance sur mesure. Vous pouvez définir un objectif de performances souhaité, et l'entrepôt des données se met à l'échelle automatiquement pour maintenir des performances constantes.

Des algorithmes sophistiqués prédisent et classent les requêtes entrantes en fonction de leur durée d’exécution et de leurs besoins en ressources afin de gérer dynamiquement les performances et la concurrence, tout en vous aidant à hiérarchiser vos charges de travail critiques. L'accélération des requêtes courtes (SQA) envoie les requêtes courtes des applications telles que des tableaux de bord vers une file d'attente express pour un traitement immédiat plutôt que de les bloquer derrière des requêtes longues. La gestion automatique des charges de travail (WLM) utilise le ML pour gérer de manière dynamique la mémoire et la simultanéité, ce qui permet d’optimiser le débit des requêtes. En outre, vous pouvez désormais définir la priorité de vos requêtes les plus importantes, même lorsque des centaines de requêtes sont soumises. Amazon Redshift Advisor émet des recommandations lorsqu’une action explicite de l’utilisateur est nécessaire pour améliorer les performances d’Amazon Redshift. Pour les charges de travail dynamiques où les modèles de requête ne sont pas prévisibles, les vues matérialisées automatisées améliorent le débit des requêtes, réduisent la latence des requêtes et raccourcissent le temps d’exécution grâce au rafraîchissement automatique, à la réécriture automatique des requêtes, au rafraîchissement incrémentiel et à la surveillance continue des clusters Amazon Redshift. L’optimisation automatique des tables sélectionne les clés de tri et de distribution afin d’optimiser les performances en fonction de la charge de travail du cluster. Si Amazon Redshift détermine que l'application d'une clé peut améliorer les performances du cluster, les tables sont automatiquement modifiées sans que l'administrateur ait à intervenir. Les fonctionnalités supplémentaires de suppression automatique du vide, de tri automatique des tables et d’analytique automatique excluent la nécessité d’une maintenance et d’un réglage manuels des clusters Amazon Redshift afin d’obtenir les meilleures performances pour les nouveaux clusters et les charges de travail de production.

Utilisez une API simple pour interagir avec Amazon Redshift : Amazon Redshift vous permet d’accéder sans problème aux données avec tous les types d’applications classiques, natives cloud et conteneurisées, basées sur des services Web sans serveur et axées sur les événements. L’API Amazon Redshift Data simplifie l’accès, l’ingestion et la sortie des données à partir des langages de programmation et des plateformes pris en charge par le SDK AWS, tels que Python, Go, Java, Node.js, PHP, Ruby et C++. L’API de données ne nécessite pas de configurer des pilotes ni de gérer des connexions à des bases de données. Vous pouvez plutôt exécuter des commandes SQL sur un cluster Amazon Redshift pour appeler un point de terminaison d’API sécurisé fourni par l’API de données. L'API Data prend en charge la gestion des connexions à la base de données et la mise en mémoire tampon des données. L'API Data est asynchrone ; vous pouvez donc récupérer les résultats plus tard. Les résultats de votre requête sont hébergés durant 24 heures.

Exécutez des requêtes dans la console ou connectez des outils clients SQL, des bibliothèques ou des outils de science des données, notamment QuickSight, Tableau, Microsoft Power BI, Alteryx, Querybook, bloc-notes Jupyter, Informatica, dbt, MicroStrategy et Looker.

Utilisez un anglais simple pour écrire des requêtes dans l’Éditeur de requêtes Amazon Redshift afin de générer en toute sécurité des recommandations de code SQL précises dans le cadre de vos autorisations d’accès aux données.

Amazon Redshift ML permet aux analystes de données, aux scientifiques des données, aux professionnels de la BI et aux développeurs de créer, d’entraîner et de déployer des modèles SageMaker à l’aide de SQL. Avec Amazon Redshift ML, vous pouvez utiliser des instructions SQL pour créer et entraîner des modèles SageMaker sur vos données dans Amazon Redshift, puis utiliser ces modèles pour des prédictions telles que la détection de désabonnement, les prévisions financières, la personnalisation et l’évaluation des risques directement dans vos requêtes et rapports. Introduisez de grands modèles de langage dans Amazon Redshift pour des tâches avancées de traitement du langage naturel telles que le résumé de texte, l’extraction d’entités et l’analyse de sentiments, afin d’obtenir des informations plus approfondies sur vos données à l’aide de SQL.