Publié le: Jun 25, 2020
Amazon EMR propose désormais une stratégie d’attribution « Capacités optimisées » pour le provisionnement d’instances Spot dans un cluster Amazon EMR. La stratégie d’attribution « Capacités optimisées » utilise automatiquement et le plus efficacement possible la capacité restante disponible tout en tirant parti des remises conséquentes qu’offrent les instances Spot. En proposant la possibilité de réduire les interruptions, la stratégie Capacités optimisées peut aider à réduire le coût de votre charge de travail.
La stratégie d’attribution Capacités optimisées utilise des données de capacité en temps réel pour attribuer les instances à partir de pools d’instance Spot avec la capacité optimale correspondant au nombre d’instances qui sont lancées. La stratégie d’attribution convient aux charges de travail dont les coûts d’interruption sont très élevés. Les exemples comprennent les tâches avec une exécution longue et les clusters persistants multi-locataires qui exécutent Apache Spark, Apache Hive et Presto.
L’option de stratégie d’attribution vous permet de spécifier jusqu’à cinq types d’instance EC2 par nœud de tâches lors de la création de votre cluster avec une configuration de flotte d’instances. Cela vous permet de diversifier vos requêtes spot et ainsi d’obtenir des remises conséquentes.
Les clients d’Amazon EMR bénéficie de plusieurs améliorations de l’élasticité et de la résilience, notamment la mise hors service gratuite des instances Amazon EC2 Spot exécutant des applications Apache Spark et Apache Hadoop sur un cluster Amazon EMR. Pour éviter la perte de données, la mise à l’échelle d’Amazon EMR garantit qu’aucune tâche Apache Hadoop n’est en cours d’exécution sur votre nœud, ou qu’il ne contient pas de données uniques qui risqueraient d’être perdues avant que vous ne le retiriez. Amazon EMR possède des personnalisations vers Spark open source qui renforce sa résilience en cas de perte de nœud – avec l’intégration du mécanisme de mise hors service de YARN, l’extension du mécanisme de mise hors service de Spark et des actions sur les nœuds mis hors service.
Consultez la documentation pour savoir comment configurer les flottes d’instances, comment élaborer un rôle de service pour Amazon EMR (EMR Role) et les spécifications des API.
La prise en charge de la stratégie d’attribution par Amazon EMR est désormais disponible pour les versions d’EMR 5.12.1 et supérieures, dans toutes les régions commerciales AWS où Amazon EMR est disponible. Lien vers la disponibilité régionale Amazon EMR.