Passer au contenu principal

Amazon EMR

Amazon EMR sans serveur

Exécution d’applications de big data avec des frameworks open source sans avoir à gérer des clusters ou des serveurs

Pourquoi EMR sans serveur ?

Amazon EMR sans serveur est une option sans serveur d’Amazon EMR qui permet aux analystes et ingénieurs de données d’exécuter facilement des cadres d’analytique du big data open source sans avoir à configurer, gérer et mettre à l’échelle des clusters ou des serveurs. Vous bénéficiez de l’ensemble des fonctionnalités et avantages d’Amazon EMR sans avoir à faire appel à des experts pour planifier et gérer les clusters.

Avantages

Sélectionnez le framework open source que vous souhaitez exécuter pour votre application, comme Apache Spark et Apache Hive, et EMR sans serveur provisionne et gère automatiquement les ressources de calcul et de mémoire sous-jacentes.

Exécutez des charges de travail analytiques à n’importe quelle échelle grâce à une mise à l’échelle automatique à la demande qui redimensionne les ressources en quelques secondes pour répondre à l’évolution des volumes de données et des exigences de traitement.

EMR sans serveur augmente et réduit automatiquement les ressources verticalement pour fournir la quantité de capacité adaptée à votre application. Vous ne payez que ce que vous consommez tout en minimisant les risques de surapprovisionnement ou de sous-approvisionnement.

Grâce à l’agent de mise à niveau d’Apache Spark, les mises à niveau d’Apache Spark d’une durée de plusieurs mois se transforment en projets efficaces d’une semaine grâce à une automatisation intelligente. L’agent de mise à niveau de Spark rationalise les migrations d’entreprise en gérant automatiquement les modifications complexes de l’API dans votre base de code, réduisant ainsi considérablement les coûts et les efforts.

Amazon EMR sans serveur élimine le provisionnement du stockage local pour les charges de travail Apache Spark, réduisant ainsi les coûts de traitement des données de jusqu’à 20 % et empêchant les échecs de tâches dus à des contraintes de capacité de disque. EMR sans serveur gère automatiquement les opérations de données intermédiaires, comme la réorganisation, sans frais de stockage : vous ne payez que pour les ressources de calcul et de mémoire.

Fonctionnement

1

Création de votre application

Choisissez le cadre open source et la version que vous souhaitez utiliser.

2

Soumission de tâches

Soumettez des tâches dans votre application via des API ou à l’aide d’EMR Studio. Vous pouvez également soumettre des tâches à l’aide de services d’orchestration des flux de travail tels qu’Apache Airflow ou Amazon Managed Workflows pour Apache Airflow.

3

Tâches de débogage

Utilisez des outils open source familiers tels que les interfaces utilisateurs Spark et Tez pour surveiller et déboguer les tâches.

Cas d’utilisation

À mesure que la charge de travail évolue, mettez à l’échelle les ressources des applications de manière fluide, sans avoir à préconfigurer la puissance de calcul et la mémoire dont vous avez besoin.

Choisissez l’option permettant de préinitialiser les ressources des applications et d’obtenir un temps de réponse en quelques secondes pour les pipelines de données sensibles aux SLA.

Créez des environnements de développement et de test rapidement et facilement, automatisez la mise à l’échelle avec une utilisation imprévisible et mettez vos produits plus rapidement sur le marché.