Presentazione dei processi in streaming di Amazon EMR serverless per l'elaborazione costante dello streaming di dati
Amazon EMR Serverless è un'opzione serverless di Amazon EMR che consente a data scientist e data engineer di eseguire facilmente framework di analisi dei big data open-source senza configurare, gestire e scalare cluster o server. Siamo felici di annunciare una nuova modalità di processi in streaming su Amazon EMR Serverless, che consente di analizzare ed elaborare continuamente lo streaming dei dati.
Lo streaming è diventato indispensabile per le attività che vogliono ottenere informazioni in modo costante da origini di dati come sensori, dispositivi IoT e log Web. Tuttavia, l'elaborazione dello streaming dei dati può essere complessa a causa di requisiti quali l'elevata disponibilità, la resilienza agli errori e l'integrazione con i servizi di streaming. I processi in streaming di Amazon EMR serverless dispongono di funzionalità integrate per affrontare tali criticità. Offre un'elevata disponibilità grazie alla resilienza multi-AZ (Availability Zone o zona di disponibilità) eseguendo automaticamente il failover su AZ integre. Offre inoltre una maggiore resilienza attraverso l'esecuzione di nuovi tentativi automatici dei processi in caso di errori e funzionalità di gestione dei log come la rotazione e la compattazione del log, impedendo così l'accumularsi di file di log che potrebbe comportare il verificarsi di errori nei processi. Inoltre, i processi in streaming di Amazon EMR Serverless supportano l'elaborazione dei dati da servizi di streaming come cluster Apache Kafka autogestiti, Streaming gestito da Amazon per Apache Kafka (Amazon MSK) e sono ora integrati con i flussi di dati Amazon Kinesis grazie a un nuovo connettore di flussi di dati Amazon Kinesis integrato, che semplifica la creazione di pipeline di streaming end-to-end.
I processi in streaming di Amazon EMR serverless sono generalmente disponibili nelle versioni di rilascio EMR 7.1.0 e successive e nelle seguenti regioni AWS: Stati Uniti orientali (Virginia settentrionale, Ohio), Stati Uniti occidentali (Oregon), Europa (Stoccolma, Parigi, Francoforte, Irlanda, Londra), Sud America (San Paolo) e Asia Pacifico (Tokyo, Seoul, Singapore, Mumbai, Sydney). Per iniziare, consulta la pagina relativa ai processi in streaming di Amazon EMR Serverless nella Guida per l'utente di Amazon EMR Serverless.