Passa al contenuto principale

Amazon EMR

Amazon EMR serverless

Esegui applicazioni di big data utilizzando framework open source senza bisogno di gestire cluster e server

Perché utilizzare EMR serverless?

Amazon EMR serverless è un'opzione serverless disponibile in Amazon EMR, che consente ad analisti e data engineer di eseguire facilmente framework di analisi dei big data open source senza configurare, gestire e scalare cluster o server. Ottieni tutte le funzionalità e i vantaggi di Amazon EMR senza dover ricorrere a esperti per la pianificazione e la gestione dei cluster.

Vantaggi

Seleziona il framework open source che desideri eseguire per la tua applicazione, ad esempio Apache Spark e Apache Hive, ed EMR serverless esegue automaticamente il provisioning e la gestione delle risorse di calcolo e di memoria sottostanti.

Esegui carichi di lavoro analitici su qualsiasi scala grazie al dimensionamento automatico on-demand che ridimensiona le risorse in pochi secondi per soddisfare le variazioni dei volumi di dati e dei requisiti di elaborazione.

EMR serverless aumenta e riduce verticalmente e in modo automatico le risorse per fornire la giusta quantità di capacità per l'applicazione. Paghi solo in basa a ciò che consumi e puoi ridurre al minimo i problemi relativi a un provisioning eccessivo o insufficiente.

Con l'agente di aggiornamento Apache Spark, gli aggiornamenti di Apache Spark della durata di mesi si trasformano in progetti efficienti della durata di una settimana tramite l'automazione intelligente. L'agente di aggiornamento Spark semplifica le migrazioni aziendali gestendo automaticamente modifiche complesse alle API in tutta la base di codice, riducendo drasticamente costi e sforzi.

Amazon EMR serverless elimina il provisioning dell'archiviazione locale per i carichi di lavoro Apache Spark, riducendo i costi di elaborazione dei dati fino al 20% ed evitando gli errori dei processi dovuti ai vincoli di capacità del disco. EMR serverless gestisce automaticamente le operazioni intermedie sui dati, ad esempio lo shuffle, senza costi di archiviazione: si paga solo per le risorse di calcolo e memoria.

Come funziona

1

Crea la tua applicazione

Scegli il framework open source e la versione che desideri utilizzare.

2

Invia i processi

Invia processi alla tua applicazione tramite le API o EMR Studio. Puoi anche inviare i processi utilizzando servizi di orchestrazione dei flussi di lavoro come Apache Airflow o flussi di lavoro gestiti da Amazon per Apache Airflow.

3

Processi di debug

Usa strumenti open source familiari come Spark UI e Tez UI per monitorare ed eseguire il debug dei processi.

Casi d'uso

Al variare delle richieste del carico di lavoro, è possibile scalare le risorse delle applicazioni senza problemi, senza dover preconfigurare la potenza di calcolo e la memoria necessarie.

Scegli l'opzione per inizializzare in anticipo le risorse dell'applicazione e abilitare il tempo di risposta in secondi per le pipeline di dati sensibili agli SLA.

Crea ambienti di sviluppo e di test in modo semplice e veloce, esegui il dimensionamento automatico in base all'utilizzo imprevedibile e immetti più rapidamente i prodotti sul mercato.