Broker Amazon MSK Express kini mengirimkan data ke tabel streaming untuk Apache Iceberg
Broker Amazon MSK Express kini mengirimkan data ke tabel streaming untuk Apache Iceberg, sebuah kemampuan baru yang secara terus-menerus mewujudkan topik Apache Kafka sebagai tabel Apache Iceberg di Tabel Amazon S3. Pengiriman data Amazon MSK ke tabel streaming dapat mengurangi biaya pemasukan dan pengiriman data Apache Kafka ke Tabel Amazon S3 hingga 60% dibandingkan dengan deployment yang dikelola sendiri, dan mengurangi biaya kueri hilir hingga 30% dibandingkan dengan deployment Apache Kafka yang dikelola sendiri.
Pelanggan mengandalkan Apache Kafka untuk memasukkan data secara real-time untuk kasus penggunaan seperti deteksi penipuan dan personalisasi, dan semakin ingin menyatukan data tersebut dengan tabel Apache Iceberg untuk analitik mendekati real-time tetapi mengintegrasikan keduanya memaksa mereka untuk mengoperasikan pipeline kustom yang kompleks, mengelola konversi format, dan mengatasi masalah file kecil, di mana pemasukan data dalam jumlah besar menciptakan banyak file parquet kecil yang memperlambat kueri hilir dan meningkatkan biaya. Dengan kemampuan ini, kompresi inline cerdas menghilangkan dampak kinerja dari file berukuran kecil dan menjaga kinerja kueri tetap dapat diprediksi tanpa mengorbankan kesegaran data, sementara koordinasi bawaan menyelesaikan konflik penulis bersamaan di antara throughput konsumen. Amazon MSK mendukung throughput hingga 10 GB/s untuk pengiriman ke Apache Iceberg di Tabel Amazon S3, dan karena kemampuan bawaan ini tidak menambah throughput egress broker, pelanggan menghindari biaya infrastruktur tambahan untuk meningkatkan skala pipeline konektor dan menyesuaikan kapasitas dengan permintaan aktual, bukan permintaan puncak. Pelanggan mengirimkan data ke tabel streaming dan melakukan kueri atau transformasi data dengan mesin apa pun pilihan mereka, termasuk Apache Spark, Trino, atau Apache Flink.
Untuk memulai, pelanggan membuka konsol Amazon MSK, memilih klaster Express, dan mengaktifkan kemampuan tersebut hanya dengan beberapa klik, atau menggunakan API MSK atau server MCP. Pengiriman data Amazon MSK ke tabel streaming tersedia saat ini di setiap AWS Region tempat broker Amazon MSK Express ditawarkan. Untuk informasi harga, kunjungi halaman harga. Untuk mempelajari lebih lanjut, kunjungi Panduan Pengembang Amazon MSK dan keterampilan AI Amazon MSK.