Amazon Managed Streaming for Apache Kafka (Amazon MSK)

Layanan Apache Kafka yang dikelola sepenuhnya, tersedia dengan sangat baik, dan aman

Amazon MSK adalah layanan yang dikelola sepenuhnya dan memudahkan Anda membangun serta menjalankan berbagai aplikasi yang menggunakan Apache Kafka untuk memproses data streaming. Apache Kafka adalah sebuah platform sumber terbuka untuk menjalankan berbagai pipeline dan aplikasi streaming real-time. Dengan Amazon MSK, Anda dapat menggunakan API Apache Kafka untuk mengisi data lake, melakukan streaming perubahan ke dan dari database, serta mendukung berbagai aplikasi machine learning dan analitik.

Penyiapan, penskalaan, dan pengelolaan klaster Apache Kafka dalam produksi sangat menantang. Saat Anda menjalankan sendiri Apache Kafka, Anda perlu menyediakan server, mengonfigurasikan Apache Kafka secara manual, mengganti server jika mengalami kegagalan, mengatur patch dan pemutakhiran server, merancang klaster untuk ketersediaan yang sangat baik, memastikan data tersimpan dan terlindungi dalam jangka waktu yang lama, menyiapkan pemantauan dan alarm, serta merencanakan kejadian penskalaan dengan cermat untuk mendukung perubahan beban. Amazon MSK memudahkan Anda membangun dan menjalankan berbagai aplikasi produksi di Apache Kafka tanpa memerlukan keahlian manajemen infrastruktur Apache Kafka. Itu berarti Anda menghabiskan lebih sedikit waktu untuk mengelola infstratruktur, dan lebih banyak waktu untuk membangun aplikasi.

Dengan beberapa klik di konsol Amazon MSK, Anda dapat membuat klaster Apache Kafka yang tersedia dengan sangat baik, dengan pengaturan dan konfigurasi yang didasarkan pada praktik terbaik penerapan Apache Kafka. Amazon MSK akan secara otomatis menyediakan dan menjalankan klaster Apache Kafka Anda. Amazon MSK terus-menerus memantau kondisi klaster dan akan secara otomatis mengganti node yang tidak sehat tanpa waktu henti pada aplikasi Anda. Selain itu, Amazon MSK akan melindungi klaster Apache Kafka Anda dengan mengenkripsi data saat istirahat.

Keuntungan

Sepenuhnya kompatibel

Amazon MSK menjalankan dan mengelola Apache Kafka untuk Anda. Ini akan memudahkan Anda memigrasikan dan menjalankan berbagai aplikasi Apache Kafka yang ada di AWS tanpa mengubah kode aplikasi. Dengan menggunakan Amazon MSK, Anda mempertahankan kompatibilitas sumber terbuka dan dapat melanjutkan menggunakan alat kustom dan buatan komunitas yang sudah umum digunakan, seperti MirrorMaker, Apache Flink, dan Prometheus.

Dikelola sepenuhnya

Amazon MSK memungkinkan Anda berfokus pada pembuatan aplikasi streaming, tanpa perlu mengkhawatirkan tentang overhead operasional dalam mengelola lingkungan Apache Kafka. Amazon MSK mengelola penyediaan, konfigurasi, dan pemeliharaan klaster Apache Kafka dan node Apache ZooKeeper untuk Anda. Amazon MSK juga menampilkan metrik kinerja Apache Kafka dalam konsol AWS.

Pemrosesan stream elastis

Apache Flink adalah sebuah kerangka kerja pemrosesan stream sumber terbuka yang andal untuk komputasi data streaming dengan status. Anda dapat sepenuhnya menjalankan berbagai aplikasi Apache Flink yang ditulis dalam SQL, Java, atau Scala yang secara elastis memproses stream data dalam Amazon MSK.

Tersedia dengan sangat baik

Amazon MSK membuat klaster Apache Kafka dan menawarkan replikasi multi-AZ dalam sebuah Wilayah AWS. Amazon MSK terus-menerus memantau kondisi klaster, dan jika sebuah komponen mengalami kegagalan, Amazon MSK akan secara otomatis menggantinya.

Sangat aman

Amazon MSK menyediakan beberapa tingkat keamanan untuk klaster Apache Kafka, termasuk isolasi jaringan VPC, AWS IAM untuk otorisasi API pesawat kontrol, enkripsi saat tidak aktif, enkripsi TLS dalam transit, autentikasi sertifikat berbasis TLS, autentikasi SASL/SCRAM yang diamankan oleh AWS Secrets Manager, dan mendukung Access Control List (ACL) Apache Kafka untuk otorisasi pesawat data.

Studi kasus pelanggan

Nutmeg
Poshmark
Vonage
Secureworks
Compass
ZipRecruiter
Lihat studi kasus pelanggan »

Cara kerjanya

Apache Kafka adalah penyimpanan data streaming yang memisahkan aplikasi yang menghasilkan data streaming (produser) ke penyimpanan datanya dari berbagai aplikasi yang mengonsumsi data streaming (konsumen) dari penyimpanan datanya. Banyak organisasi menggunakan Apache Kafka sebagai sumber data untuk berbagai aplikasi yang terus-menerus menganalisis dan bereaksi terhadap data streaming.

Dengan beberapa klik dalam Konsol Amazon MSK, Amazon MSK menyediakan klaster Apache Kafka, dan dengan dukungan untuk pemutakhiran versi, Anda dapat selalu menggunakan versi Apache Kafka terbaru yang didukung Amazon MSK. Setelah mengonfigurasikan klaster, aplikasi Anda dapat melakukan streaming data dari produser ke sebuah topik, tempat data ini dibaca secara waktu nyata oleh pelanggan.

Diagram cara kerja Amazon MSK

Unduh slide webinar untuk mempelajari selengkapnya mengenai Amazon MSK. 

Mulai menggunakan Amazon MSK

Menyiapkan klaster Amazon MSK
Menyiapkan klaster Amazon MSK

Mendaftar ke AWS serta mengunduh pustaka dan alat.

Tinjau panduan memulai
Tinjau panduan memulai

Pelajari cara mengatur kluster Apache Kafka Anda di Amazon MSK dalam panduan langkah-demi-langkah ini.

Jalankan kluster Apache Kafka Anda
Jalankan kluster Apache Kafka Anda

Mulai jalankan kluster Apache Kafka Anda di Amazon MSK. Masuk ke konsol Amazon MSK.