Amazon EMR Nirserver menghilangkan penyediaan penyimpanan lokal untuk beban kerja Apache Spark
Amazon EMR Nirserver kini menawarkan penyimpanan nirserver yang menghilangkan penyediaan penyimpanan lokal untuk beban kerja Apache Spark, mengurangi biaya pemrosesan data hingga 20% dan mencegah kegagalan pekerjaan akibat kendala kapasitas disk. Anda tidak perlu lagi mengkonfigurasi jenis dan ukuran disk lokal untuk setiap aplikasi. EMR Nirserver secara otomatis menangani operasi data perantara seperti shuffle tanpa biaya penyimpanan lokal. Anda hanya membayar untuk sumber daya komputasi dan memori yang digunakan oleh pekerjaan Anda.
EMR Nirserver menurunkan operasi data perantara ke penyimpanan nirserver yang dikelola sepenuhnya dan berskala otomatis yang mengenkripsi data bergerak dan diam dengan isolasi tingkat pekerjaan. Penyimpanan nirserver memisahkan penyimpanan dari komputasi, memungkinkan Spark melepaskan pekerja segera saat idle daripada menjaga pekerja tetap aktif untuk menyimpan data sementara. Ini menghilangkan kegagalan pekerjaan dari kapasitas disk yang tidak mencukupi dan mengurangi biaya dengan menghindari biaya pekerja yang menganggur. Ini sangat berharga untuk pekerjaan yang menggunakan alokasi sumber daya dinamis, seperti mesin rekomendasi yang memproses jutaan interaksi pelanggan, di mana tahap awal memproses set data besar dengan paralelisme tinggi kemudian mempersempit sebagai agregat data.
Fitur ini umumnya tersedia untuk EMR rilis 7.12 dan yang lebih baru. Lihat AWS Region yang Didukung untuk ketersediaan. Untuk memulai, kunjungi penyimpanan nirserver untuk dokumentasi EMR Nirserver.