Inserito il: Nov 26, 2019
Amazon EMR ora supporta l'esecuzione di molteplici fasi EMR contemporaneamente, la possibilità di cancellare fasi d'esecuzione e AWS Step Functions. L'esecuzione di fasi in parallelo ti permette di eseguire carichi di lavoro più avanzati, aumentare l'utilizzo di risorse cluster e ridurre la quantità di tempo impiegato per completare il carico di lavoro. Il numero di fasi eseguibili in contemporanea è configurabile e può essere impostato quando viene lanciato un cluster e in qualsiasi momento dopo che il cluster è stato avviato. Con la possibilità di cancellare fasi in corso, hai ora più controllo sull'esecuzione delle stesse, compresa la possibilità di forzare la cancellazione delle fasi. L'esecuzione di fasi in parallelo è anche supportata da AWS Step Functions, permettendoti di creare e dimensionare i cluster, e organizzare l'esecuzione delle fasi usando flussi di lavoro Step Functions.
Steps ti permette di inviare carichi di lavoro ad applicazioni EMR quali Apache Spark, Apache Hive, Apache YARN e Presto senza bisogni di collegarti direttamente a un cluster EMR. Le fasi possono essere aggiunte in un cluster usando la console EMR e l'API. Fino ad ora, le fasi venivano eseguite consecutivamente e potevano iniziare solo dopo che la precedente si era conclusa, e le fasi in corso non potevano essere cancellate.
Con la possibilità di eseguire fasi in parallelo, è ora possibile creare flussi di lavoro più avanzati che includono logica condizionale e diramazione. Per semplificare la creazione e la gestione di questi flussi di lavoro, siamo lieti di annunciare una nuova integrazione con AWS Step Functions. Step Functions ora supporta fasi EMR, permettendoti di organizzare la creazione di cluster, dimensionare in modo programmatico le risorse cluster e gestire l'esecuzione delle fasi, le dipendenze e la gestione delle eccezioni con EMR.
L'esecuzione di fasi in parallelo e la cancellazione di fasi in corso sono supportate con EMR versione 5.28.0 e disponibili in Asia Pacifico (Hong Kong, Mumbai, Tokyo), UE (Francoforte, Irlanda, Stoccolma), Medio Oriente (Bahrein), Sud America (San Paolo), Stati Uniti orientali (Virginia settentrionale), Stati Uniti occidentali (California settentrionale e Oregon), e altre regioni si aggiungeranno nelle prossime settimane.
Per iniziare, consulta la documentazione sulle fasi EMR e distribuisci il tuo primo flusso di lavoro Step Functions usando un progetto esempio con un clic.
Ulteriori informazioni:
- Leggi il post del blog di AWS News
- Distribuisci un progetto di esempio con un clic per l'integrazione di AWS Step Functions con Amazon EMR
- Leggi di più sulla gestione dei lavori Amazon EMR con Step Functions nella Guida per gli sviluppatori di AWS Step Functions
- Consulta interiori informazioni su come lavorare con le fasi usando CLI e Console