Amazon EMR adalah tempat terbaik untuk menjalankan Apache Spark. Anda dapat dengan cepat dan mudah membuat klaster Spark yang terkelola dari AWS Management Console, AWS CLI, atau API Amazon EMR. Selain itu, Anda dapat meningkatkan fitur Amazon EMR tambahan, yang mencakup konektivitas Amazon S3 cepat menggunakan Amazon EMR File System (EMRFS), integrasi dengan pasar Spot Amazon EC2 dan Katalog Data AWS Glue, dan Auto Scaling untuk menambah atau menghapus instans dari klaster Anda. AWS Lake Formation menghadirkan kontrol akses yang sangat ketat, sementara AWS Step Functions membantu orkestrasi alur data Anda. EMR Notebooks memudahkan Anda bereksperimen dan membangun aplikasi dengan Spark. Jika ingin, Anda dapat menggunakan Apache Zeppelin untuk membuat buku catatan interaktif dan kolaboratif untuk eksplorasi data menggunakan Spark.

Pelajari selengkapnya tentang Apache Spark di sini.

Fitur dan keuntungan

Performa cepat

EMR menampilkan lingkungan runtime yang dioptimalkan performa untuk Apache Spark yang diaktifkan secara default. Runtime EMR untuk Spark bisa 3x lebih cepat dan memiliki kompatibilitas API 100% dibandingkan dengan Spark standar. Peningkatan performa ini berarti beban kerja Anda berjalan lebih cepat dan biaya komputasi lebih hemat, tanpa membuat perubahan apa pun pada aplikasi Anda.

Dengan mesin eksekusi grafik asiklik yang diarahkan (DAG), Spark dapat membuat rencana kueri yang efisien untuk transformasi data. Spark juga menyimpan input, output, dan data perantara dalam memori sebagai frame data yang tangguh, yang memungkinkan pemrosesan cepat tanpa biaya I/O, percepatan performa iteratif, atau beban kerja interaktif.

Mengembangkan aplikasi dengan cepat dan secara kolaboratif

Apache Spark secara native mendukung Java, Scala, SQL, dan Python, yang memberikan Anda berbagai bahasa untuk membangun aplikasi. Selain itu, Anda dapat mengirimkan kueri SQL atau HiveQL menggunakan modul SQL Spark. Selain untuk menjalankan aplikasi, Anda dapat menggunakan API Spark secara interaktif dengan Phyton atau Scala secara langsung di shell Spark atau melalui buku catatan Jupyter pada klaster Anda. Dukungan untuk Apache Hadoop 3.0 di EMR 6.0 menghadirkan dukungan kontainer Docker untuk menyederhanakan pengelolaan dependensi. Anda juga dapat meningkatkan EMR Notebooks (berbasis Jupyter) yang tidak tergantung klaster atau menggunakan Zeppelin untuk membuat buku catatan interaktif dan kolaboratif untuk eksplorasi dan visualisasi data. Anda dapat menyetel dan men-debug beban kerja Anda di konsol ESDM yang memiliki Server Riwayat Spark yang persisten di luar klaster.

Buat alur kerja yang beragam

Apache Spark mencakup beberapa pustaka yang membantu pembuatan aplikasi untuk machine learning (MLlib), pemrosesan stream (Spark Streaming), dan pemrosesan grafik (GraphX). Pustaka ini sangat terintegrasi dalam ekosistem Spark, dan dapat dimanfaatkan semaksimal mungkin untuk merujuk berbagai kasus penggunaan. Selain itu, Anda dapat menggunakan kerangka kerja deep learning seperti Apache MXNet dengan aplikasi Spark. Intergrasi dengan AWS Step Functions memungkinkan Anda menambahkan automasi dan orkestrasi alur kerja tanpa server ke aplikasi Anda.

Integrasi dengan serangkaian fitur Amazon EMR

Kirimkan tugas Apache Spark dengan API EMR Step, gunakan Spark dengan EMRFS untuk secara langsung mengakses data dalam S3, hemat biaya menggunakan kapasitas Spot EC2, gunakan Auto Scaling yang dikelola sepenuhnya untuk menambah dan menghapus kapasitas secara dinamis, serta luncurkan klaster yang sudah lama berjalan atau yang baru berjalan sebentar untuk disesuaikan dengan beban kerja Anda. Anda juga dapat dengan mudah mengonfigurasi enkripsi Spark dan autentikasi dengan Kerberos menggunakan konfigurasi keamanan EMR. Selain itu, Anda dapat menggunakan Katalog Data AWS Glue untuk menyimpan metadata tabel SQL Spark, atau menggunakan Amazon SageMaker dengan alur machine learning Spark. EMR menginstal dan mengelola Spark di Hadoop YARN, dan Anda juga dapat menambahkan aplikasi big data lainnya di klaster Anda. EMR dengan Apache Hudi memungkinkan Anda mengelola penangkapan perubahan data (CDC) yang lebih efisien dan membantu dengan peraturan privasi seperti GDPR dan CCPA dengan menyederhanakan penghapusan catatan. Klik di sini untuk detail selengkapnya mengenai fitur EMR.

Kasus penggunaan

Pemrosesan aliran

Konsumsi dan proses data real-time dari Amazon Kinesis, Apache Kafka, atau aliran data lainnya dengan Spark Streaming pada EMR. Lakukan analisis streaming dengan cara yang yang toleran kesalahan dan tulis hasilnya ke S3 atau HDFS di klaster.

Machine learning

Apache Spark pada EMR mencakup MLlib untuk berbagai algoritme machine learning yang dapat diskalakan, atau Anda dapat menggunakan pustaka Anda sendiri. Dengan menyimpan himpunan data dalam memori saat mengerjakan tugas, Spark memiliki kinerja yang kuat untuk kueri iteratif yang umum di beban kerja machine learning.

SQL interaktif

Gunakan Spark SQL untuk latensi rendah, kueri interaktif dengan SQL atau HiveQL. Spark di EMR dapat mendongkrak EMRFS, sehingga Anda dapat memiliki akses ad hoc ke dataset Anda di S3. Anda juga dapat memanfaatkan EMR Notebooks, catatan Zeppelin, atau alat BI melalui koneksi ODBC dan JDBC.

Kesuksesan pelanggan

Yelp

Yelp

Tim penargetan iklan Yelp membuat model prediksi untuk menentukan kemungkinan interaksi pengguna dengan suatu iklan. Dengan menggunakan Apache Spark di Amazon EMR untuk memproses sejumlah besar data untuk melatih model machine learning, Yelp telah meningkatkan pendapatan dan rasio klik-tayang iklan.

The Washington Post

The Washington Post

The Washington Post menggunakan Apache Spark di Amazon EMR untuk membangun model yang mendukung mesin rekomendasi situs webnya untuk meningkatkan keterlibatan dan kepuasan pembaca. Mereka mendongkrak konektivitas kinerja Amazon EMR dengan Amazon S3 untuk memutakhirkan model hampir secara real-time.

Intent Media

Intent Media

Intent Media mengoperasikan platform untuk periklanan di situs niaga perjalanan. Tim data mereka menggunakan Apache Spark dan MLlib di Amazon EMR untuk menyerap data e-commerce dalam jumlah terabyte secara harian dan menggunakan informasi ini untuk mendukung layanan pengambilan keputusan mereka untuk mengoptimalkan pendapatan pelanggan. Klik di sini untuk mempelajari selengkapnya.

Krux

Krux

Sebagai bagian dari Data Management Platform untuk wawasan pelanggan, Krux menjalankan banyak machine learning dan beban kerja pemrosesan umum menggunakan Apache Spark. Krux memanfaatkan klaster Amazon EMR yang baru berjalan sebentar dengan Kapasitas Spot Amazon EC2 untuk menghemat biaya dan menggunakan Amazon S3 dengan EMRFS sebagai lapisan data untuk Apache Spark.

Baca selengkapnya »

GumGum

GumGum

GumGum, suatu platform pengiklanan pada gambar dan pada layar, menggunakan Spark di Amazon EMR untuk memprediksi inventaris, memproses log aliran klik, dan analisis ad hoc terhadap data tak terstruktur di Amazon S3. Peningkatan kinerja Spark menghemat waktu dan biaya GumGum untuk alur kerja ini.

Baca selengkapnya »

Hearst

Hearst Corporation

Hearst Corporation, suatu perusahaan media dan informasi beragam yang besar, memiliki pelanggan yang melihat konten pada lebih dari 200 properti web. Dengan menggunakan Apache Spark Streaming di Amazon EMR, karyawan editorial Hearst dapat mempertahankan laju real-time yang berarti artikel mereka bekerja dengan baik dan tema mereka populer.

Baca selengkapnya »

CrowdStrike

CrowdStrike

CrowdStrike menyediakan proteksi titik akhir untuk menghentikan pelanggaran. Mereka menggunakan Amazon EMR dengan Spark untuk memproses ratusan terabyte data peristiwa dan meningkatkannya menjadi deskripsi perilaku tingkat yang lebih tinggi pada host. Dari data tersebut, CrowdStrike dapat menarik data peristiwa sekaligus dan mengidentifikasi adanya aktivitas berbahaya.

Baca selengkapnya »

Pelajari selengkapnya tentang harga Amazon EMR

Kunjungi halaman harga
Siap membuat?
Memulai dengan Amazon EMR
Ada pertanyaan lagi?
Hubungi kami