Aggiorna dinamicamente il tuo cluster EMR in esecuzione con riconfigurazione per parchi di istanze
Amazon EMR su EC2 ora supporta l'aggiornamento in tempo reale delle configurazioni delle applicazioni per parchi di istanze EMR senza richiedere la chiusura o il riavvio del cluster. Con questa funzionalità, i clienti possono ora regolare dinamicamente le configurazioni delle applicazioni, come la memoria dell'esecutore di Spark, l'allocazione delle risorse di YARN e le impostazioni HDFS senza problemi, su un cluster in esecuzione, riducendo al minimo le interruzioni dei carichi di lavoro. Ciò è particolarmente utile per regolare l'allocazione delle risorse ed eseguire il fine-tuning delle applicazioni per soddisfare i requisiti di elaborazione dei dati e prestazioni dei processi, garantendo al contempo un utilizzo ottimale delle risorse.
Amazon EMR è la piattaforma cloud di big data, leader del settore per l'elaborazione dati, l'analisi interattiva e il machine learning tramite framework open source come Apache Spark, Apache Flink e Trino. In precedenza, era necessario terminare e riavviare i cluster di flotte di istanze con nuove configurazioni. Questo processo comportava tempi di inattività, aumento degli sforzi operativi e ritardi nelle regolazioni del flusso di lavoro. Con il supporto per la riconfigurazione, EMR applica dinamicamente le configurazioni aggiornate sui nodi del cluster su base continuativa, garantendo al contempo la stabilità del cluster e la disponibilità delle risorse. Fornisce notifiche ai clienti tramite Amazon CloudWatch ed eventi EMR. In caso di errore o aggiornamento incompatibile, EMR ripristina le modifiche per garantire che il cluster rimanga operativo. È possibile continuare a eseguire carichi di lavoro sul cluster durante il processo di aggiornamento.
Puoi sfruttare questa funzionalità su EMR versione 5.21 e tutte le versioni successive utilizzando l'interfaccia a riga di comando o l'API di AWS. Questa funzionalità è disponibile in tutte le regioni AWS in cui è disponibile Amazon EMR su EC2, incluse le regioni AWS GovCloud (Stati Uniti). Per ulteriori informazioni consulta qui la documentazione.