Amazon EMR Serverless introduce i controlli per la concomitanza e l'accodamento delle esecuzioni dei processi
Amazon EMR Serverless è un'opzione serverless di Amazon EMR che consente a data scientist e data engineer di eseguire facilmente framework di analisi dei big data open-source senza configurare, gestire e scalare cluster o server. Oggi siamo lieti di annunciare il controllo dell'ammissione dei processi su Amazon EMR serverless con il supporto dei controlli di concomitanza e di accodamento delle esecuzioni dei processi.
La concomitanza e l'accodamento delle esecuzioni dei processi consentono di configurare il numero massimo di esecuzioni simultanee di processi per un'applicazione e di mettere automaticamente in coda tutte le altre esecuzioni dei processi inviate. Ciò impedisce gli errori di esecuzione dei processi causati dal superamento dei limiti delle API a causa di un picco negli invii di esecuzione dei processi o quando le risorse sono esaurite a causa del limite massimo di vCPU simultanee di un account o di un'applicazione o del superamento del limite di indirizzo IP di una sottorete sottostante. L'accodamento delle esecuzioni dei processi semplifica inoltre la gestione dell'esecuzione dei processi eliminando la necessità di creare sistemi complessi di gestione delle code per riprovare i lavori non riusciti a causa di errori di limite (ad esempio, numero massimo di vCPU simultanee, limiti di indirizzi IP di sottorete ecc.). Con questa funzionalità, i processi vengono automaticamente messi in coda ed elaborati non appena gli slot di concomitanza diventano disponibili, garantendo un utilizzo efficiente delle risorse e prevenendo gli errori dei processi.
La concomitanza e l'accodamento delle esecuzioni dei processi di Amazon EMR serverless sono disponibili in tutte le regioni AWS in cui è disponibile AWS EMR serverless, incluse le regioni AWS GovCloud (Stati Uniti) ed escluse le regioni della Cina. Per saperne di più, consulta Job concurrency and queuing nella documentazione di EMR Serverless.