Inserito il: Jun 25, 2020
Amazon EMR ora offre una strategia di allocazione di "capacità ottimizzata" per eseguire il provisioning delle istanze Spot nel cluster Amazon EMR. La strategia di allocazione di "capacità ottimizzata" fa automaticamente un uso più efficiente della capacità disponibile di riserva, continuando ad approfittare dei notevoli sconti offerti dalle istanze Spot. La riduzione del numero di interruzioni, grazie alla strategia di capacità ottimizzata, può far diminuire il costo complessivo del tuo carico di lavoro.
La strategia di allocazione di capacità ottimizzata usa i dati della capacità in tempo reale per allocare istanze dei pool di istanze Spot con la capacità ottimale per il numero di istanze in avvio. Questa strategia di allocazione è appropriata per carichi di lavoro che hanno alti costi di interruzione. Tra gli esempi troviamo processi ad esecuzione prolungata e cluster persistenti multi-tenant che eseguono Apache Spark, Apache Hive e Presto.
Questa strategia di allocazione consente anche di specificare fino a cinque tipi di istanza EC2 per ciascun nodo dell'attività durante la creazione del cluster con la configurazione del parco istanze. Questo consente di diversificare le richieste Spot e di conseguenza di ottenere sconti significativi.
Amazon EMR ha effettuato numerose modifiche per migliorare l'elasticità e la resilienza per i clienti, tra cui la modalità di disattivazione di istanze Spot Amazon EC2 che eseguono applicazioni Apache Spark e Apache Hadoop sul cluster Amazon EMR. Per evitare la perdita di dati, la scalabilità di Amazon EMR assicura che il nodo non abbia attività Apache Hadoop in esecuzione o dati unici che possono andare perduti prima della rimozione del nodo. Amazon EMR ha reso Spark open source per renderlo più resiliente alla perdita di nodi, integrando un meccanismo di disattivazione YARN, estendendo il meccanismo di disattivazione Spark ed effettuando azioni per la disattivazione dei nodi.
Consulta la documentazione per imparare a configurare il parco istanze, creare un ruolo di servizio per Amazon EMR (Ruolo EMR) e per le specifiche API.
Il supporto Amazon EMR per la strategia di allocazione è ora disponibile al pubblico con la versione di rilascio EMR 5.12.1 e successive, in tutte le regione commerciali AWS dove Amazon EMR è disponibile. Qui trovi il link alla disponibilità regionale generale di Amazon EMR.