L'archiviazione serverless su Amazon EMR Serverless ora supporta lo shuffle su scala terabyte
Amazon EMR serverless offre ora funzionalità di archiviazione serverless avanzate con supporto per operazioni di shuffle fino a 1 TB, portando il precedente limite di 200 GB per job a un valore superiore. Amazon EMR serverless consente a data engineer e data scientist di eseguire facilmente framework di analisi dei big data open source senza dover configurare, gestire e scalare cluster o server. Questo miglioramento consente ai clienti aziendali di eseguire carichi di lavoro Apache Spark su scala di produzione che richiedono l'elaborazione di grandi volumi di dati di shuffle durante operazioni complesse come join, aggregazioni e ordinamento.
I team di dati aziendali possono ora migrare con sicurezza carichi di lavoro di produzione che elaborano regolarmente set di dati su scala terabyte senza doversi preoccupare dei vincoli di archiviazione. Questo miglioramento è particolarmente utile per i carichi di lavoro che comportano join di tabelle di grandi dimensioni su set di dati da diversi terabyte e aggregazioni complesse su dati ad alta cardinalità che richiedono un'ampia attività di shuffle dei dati. L'introduzione del supporto per lo spill garantisce che i job gestiscano senza problemi le operazioni a elevato utilizzo di memoria scaricando i dati su disco quando necessario, migliorando l'affidabilità dei job e le percentuali di successo per i carichi di lavoro analitici più impegnativi.
Questa funzionalità è disponibile con Amazon emr-7.14, emr-spark-8.1 e versioni successive, in 18 regioni AWS in cui è disponibile Amazon EMR serverless. Consulta la documentazione di Amazon EMR per l'elenco completo delle regioni supportate e dei relativi limiti applicabili.
Per saperne di più su Amazon EMR Serverless e iniziare a utilizzare il supporto dello shuffle su scala terabyte, visita la pagina di Amazon EMR serverless.