Perbarui klaster EMR Anda yang sedang berjalan secara dinamis dengan konfigurasi ulang untuk armada instans
Amazon EMR di EC2 sekarang mendukung pembaruan waktu nyata konfigurasi aplikasi untuk armada instans EMR tanpa memerlukan penghentian atau memulai ulang klaster. Dengan fitur ini, pelanggan sekarang dapat menyesuaikan konfigurasi aplikasi secara dinamis, seperti memori eksekutor Spark, alokasi sumber daya YARN, dan pengaturan HDFS dengan mulus, pada klaster yang sedang berjalan, meminimalkan gangguan pada beban kerja Anda. Ini sangat berguna untuk menyesuaikan alokasi sumber daya dan menyempurnakan aplikasi agar sesuai dengan pemrosesan data dan persyaratan performa pekerjaan, sambil memastikan pemanfaatan sumber daya yang optimal.
Amazon EMR adalah platform big data berbasis cloud untuk pemrosesan data, analisis interaktif, dan machine learning menggunakan kerangka kerja sumber terbuka seperti Apache Spark, Apache Flink, dan Trino. Sebelumnya, Anda harus menghentikan dan meluncurkan ulang klaster armada instans dengan konfigurasi baru. Proses ini mengakibatkan waktu henti, peningkatan upaya operasional, dan penyesuaian alur kerja yang tertunda. Dengan dukungan untuk konfigurasi ulang, EMR secara dinamis menerapkan konfigurasi yang diperbarui pada simpul klaster secara bergulir seraya memastikan stabilitas klaster dan ketersediaan sumber daya. Ini memberikan notifikasi kepada pelanggan melalui peristiwa Amazon CloudWatch dan EMR. Jika terjadi kegagalan atau pembaruan yang tidak kompatibel, EMR mengembalikan perubahan untuk memastikan klaster Anda tetap beroperasi. Anda dapat terus menjalankan beban kerja di klaster selama proses pembaruan.
Anda dapat memanfaatkan fitur ini pada semua EMR 5.21 dan rilis yang lebih baru menggunakan AWS CLI, atau API. Kemampuan ini tersedia di semua AWS Region, termasuk Region AWS GovCloud (AS), di mana Amazon EMR pada EC2 tersedia. Untuk mempelajari selengkapnya, silakan lihat dokumentasi di sini.