I broker Amazon MSK Express ora forniscono dati Apache Kafka ad Amazon S3
I broker Amazon MSK Express consegnano i dati nei bucket Amazon S3 per uso generico: una funzionalità completamente gestita che permette di trasferire i dati di Apache Kafka in Amazon S3 per l'elaborazione a valle nel modo più semplice e affidabile. La funzionalità si dimensiona automaticamente per consegnare in S3 dati Kafka ad alto throughput con affidabilità end-to-end per i carichi di lavoro mission-critical, riducendo al contempo i costi di acquisizione e distribuzione fino al 60% rispetto alle alternative autogestite.
I clienti trasferiscono i dati di Apache Kafka in Amazon S3 per casi d'uso quali archiviazione dei log, conservazione a fini di conformità, replay di Kafka e addestramento di modelli di IA/ML. In genere queste pipeline vengono realizzate con connettori autogestiti che, al crescere dei carichi di lavoro, diventano onerosi e complessi sul piano operativo: i team si trovano così a dover sviluppare o reperire plugin connettore per S3, ottenere le approvazioni necessarie alla loro distribuzione, dimensionare di continuo la capacità e applicare gli aggiornamenti di sicurezza all'intero parco di connettori. Con questa funzionalità, MSK Express gestisce in autonomia dimensionamento, nuovi tentativi e backpressure: i clienti non devono più amministrare parchi di connettori né coordinare il lavoro tra team. MSK Express supporta un throughput fino a 10 GB/s per la distribuzione dei dati in Amazon S3 e si fa carico delle operazioni di routine, quali il dimensionamento della capacità e gli aggiornamenti di versione, senza introdurre interruzioni nella distribuzione. Inoltre, i clienti attivano questa funzionalità di distribuzione senza dover effettuare il provisioning di ulteriore throughput di uscita per i broker: vengono così eliminati i costi infrastrutturali incrementali che il dimensionamento delle pipeline basate su connettori comporta di norma. La distribuzione viene dimensionata sulla domanda effettiva del carico di lavoro, anziché con un provisioning tarato sui picchi, con il risultato di una distribuzione in Amazon S3 affidabile e ad alto throughput, senza carico operativo e a costi inferiori.
La distribuzione dei dati di Amazon MSK in Amazon S3 è disponibile da oggi in ogni regione AWS in cui sono offerti i broker Amazon MSK Express. Per informazioni sui prezzi, consulta la pagina dei prezzi. Per ulteriori informazioni, consulta la guida per sviluppatori di Amazon MSK e le competenze IA di Amazon MSK.