Inserito il: Aug 27, 2019
Con la nuova versione 5.26.0 di EMR, coloro che utilizzano Spark potranno godere di tutte le nuove prestazioni ottimizzate di Spark introdotte nella versione 5.24.0 e 5.25.0 di EMR senza dover effettuare alcuna modifica alla configurazione o al codice. Nella nuova versione 5.26.0, le seguenti ottimizzazioni sono incluse come impostazione predefinita:
- Eliminazione delle partizioni dinamiche: permette al motore Spark di dedurre le partizioni rilevanti durante il runtime, risparmiando tempo e risorse di calcolo sia leggendo meno dati dallo storage, sia riducendo il numero di tracce da elaborare.
- DISTINCT prima di INTERSECT: elimina i valori duplicati in ciascuna raccolta di input prima di elaborare l’intersezione, il che migliora le prestazioni riducendo la quantità di dati riprodotta tra host.
- Appiattimento delle subquery scalari: è di aiuto in situazioni in cui più condizioni differenti devono essere applicate alle righe di una tabella specifica, evitando che la tabella venga letta più volte per ciascuna condizione.
- Riordinamento ottimizzato dei join: riordina i join per eseguire prima quelli di dimensioni inferiori tramite filtri, riducendo l'elaborazione richiesta per i join successivi più grandi.
- Join del filtro Bloom: filtra i join della tabella dinamicamente per includere solo le righe rilevanti, riducendo la quantità di dati elaborati da Spark e migliorando le prestazioni di esecuzione delle query.
Fai riferimento alla nostra documentazione Prestazioni di Spark in EMR e alle note di rilascio di EMR 5.26.0, per i dettagli sulle ottimizzazioni.
Inclusa in EMR 5.26.0, vi è l’integrazione Beta con AWS Lake Formation e le nuove versioni di Apache HBase 1.4.10 e Apache Phoenix 4.14.2. Consulta Integrare Amazon EMR con AWS Lake Formation (Beta) per maggiori dettagli sull’integrazione.
Amazon EMR 5.26.0 è ora disponibile in tutte le regioni supportate per Amazon EMR.
L’integrazione tra AWS Lake Formation e Amazon EMR è in Beta ed è disponibile nelle regioni degli Stati Uniti orientali (Virginia settentrionale) e Stati Uniti occidentali (Oregon).
Puoi essere sempre informato sulle nuove versioni di EMR iscrivendoti ai feed delle note di rilascio della versione EMR. Usa l’icona in cima alla guida EMR Release Guide per collegare l’URL dei feed direttamente al tuo lettore di feed preferito.