Integrasi Data Nirserver – Harga AWS Glue

Dengan AWS Glue, Anda membayar tarif per jam, ditagihkan berdasarkan detik, untuk perayap (penjelajahan data) dan tugas exact, transform, and load (ETL) (pemrosesan dan pemuatan data). Untuk Katalog Data AWS Glue, Anda cukup membayar biaya bulanan untuk menyimpan dan mengakses metadata. Gratis untuk satu juta objek pertama yang disimpan dan satu juta akses pertama. Jika Anda menyediakan titik akhir pengembangan untuk mengembangkan kode ETL secara interaktif, Anda cukup membayar tarif per jam, yang ditagihkan per detik. Untuk AWS Glue DataBrew, sesi interaktif ditagihkan per sesi dan tugas DataBrew ditagihkan per menit. Penggunaan Registri Skema AWS Glue ditawarkan tanpa biaya tambahan.

Catatan: Harga dapat bervariasi berdasarkan Wilayah AWS.

Tugas ETL dan sesi interaktif
Contoh harga

Tugas ETL: Asumsikan tugas AWS Glue Apache Spark berjalan selama 15 menit dan menggunakan 6 DPU. Harga 1 Jam DPU adalah 0,44 USD. Karena tugas Anda berjalan selama 1/4 jam dan menggunakan 6 DPU, AWS akan menagih Anda 6 DPU * 1/4 jam * 0,44 USD, atau 0,66 USD.

Notebook Tugas AWS Glue Studio dan Sesi Interaktif: Misalnya, Anda menggunakan notebook di AWS Glue Studio untuk mengembangkan kode ETL Anda secara interaktif. Sesi Interaktif memiliki 5 DPU secara default. Jika sesi tetap berjalan selama 24 menit atau 2/5 jam, Anda akan ditagih untuk 5 DPU * 2/5 jam dengan harga 0,44 USD per jam-DPU atau 0,88 USD.

Transformasi ML: Serupa dengan tugas AWS Glue yang dijalankan, biaya menjalankan Transformasi ML, termasuk FindMatches, pada data Anda akan bervariasi berdasarkan ukuran data, konten data, serta jumlah dan jenis simpul yang Anda gunakan. Dalam contoh berikut, kami menggunakan FindMatches untuk mengintegrasikan informasi lokasi penting dari beberapa sumber data. Dengan ukuran set data ~11.000.000 baris (1,6 GB), ukuran data Label (contoh kecocokan yang benar atau ketidakcocokan yang benar) ~8.000 baris (641 KB), berjalan pada 16 instans tipe G.2x, maka Anda akan memiliki runtime pembuatan set label 34 menit dengan biaya 8,23 USD, runtime estimasi metrik 11 menit dengan biaya 2,66 USD, dan runtime eksekusi tugas FindingMatches 32 menit dengan biaya 7,75 USD.
Katalog Data
Pengoptimalan Danau Data

Katalog Data AWS Glue mendukung pembuatan statistik tingkat kolom untuk tabel AWS Glue. Statistik ini sekarang terintegrasi dengan pengoptimal berbasis biaya (CBO) dari Amazon Athena dan Amazon Redshift Spectrum, yang menghasilkan peningkatan performa kueri dan potensi penghematan biaya. Baca dokumentasi kami.

Katalog Data AWS Glue mendukung pemadatan otomatis tabel Apache Iceberg, menjadikannya lebih mudah untuk memastikan agar danau data transaksional Anda selalu dalam performa tinggi. Pemadatan adalah prosedur pengoptimalan penyimpanan yang menggabungkan sejumlah besar file kecil menjadi sejumlah kecil file yang lebih besar. Anda dapat mengaktifkan pemadatan dari Konsol AWS, API, dan CLI. Baca dokumentasi kami.

Anda akan dikenai tarif per jam berdasarkan jumlah Unit Pemrosesan Data (atau DPU) yang digunakan untuk pengoptimalan danau data. Satu Data Processing Unit (DPU) menyediakan 4 vCPU dan 16 GB memori. Anda akan ditagih dalam peningkatan 1 detik, dibulatkan ke detik terdekat, dengan durasi minimum 1 menit per putaran.

Contoh harga

Katalog Data AWS Glue tingkat gratis: Anggap Anda menyimpan satu juta tabel di dalam Katalog Data Anda dalam satu bulan tertentu dan membuat satu juta permintaan untuk mengakses tabel ini. Anda membayar 0 USD karena penggunaan Anda termasuk dalam Katalog Data AWS Glue tingkat gratis. Anda dapat menyimpan satu juta objek pertama dan membuat satu juta permintaan per bulan secara gratis.

Katalog Data AWS Glue: Sekarang, anggap penggunaan penyimpanan Anda tetap, yaitu satu juta tabel per bulan, tetapi permintaan Anda menjadi dua kali lipat hingga dua juta permintaan per bulan. Selain itu, Anda juga menggunakan perayap untuk menemukan tabel baru, menjalankannya selama 30 menit, dan menggunakan 2 DPU.

Biaya penyimpanan Anda tetap 0 USD, karena penyimpanan untuk satu juta tabel pertama adalah gratis. Satu juta permintaan pertama Anda juga gratis. Anda akan ditagih untuk satu juta permintaan yang melebihi tingkat gratis, yakni sebesar 1 USD. Perayap ditagih sebesar 0,44 USD per Jam-DPU sehingga Anda akan membayar 2 DPU x 1/2 jam dengan harga 0,44 USD per Jam-DPU atau 0,44 USD. Sehingga total tagihan bulanan sebesar 1,44 USD.

Katakanlah Anda menggunakan pengoptimalan danau data untuk memadatkan tabel Iceberg atau menghasilkan statistik kolom pada tabel Parquet, dan tabel tersebut berjalan selama 30 menit serta menggunakan 2 DPU.
Pengoptimalan danau data ditagih sebesar 0,44 USD per Jam-DPU sehingga Anda akan membayar 2 DPU x 1/2 jam dengan harga 0,44 USD per Jam-DPU atau 0,44 USD.
Perayap
Sesi interaktif DataBrew
Contoh harga

AWS Glue DataBrew: Harga untuk setiap 30 menit sesi interaktif adalah 1,00 USD. Jika Anda memulai sesi pada pukul 9.00, lalu keluar dari konsol, dan kembali lagi pada pukul 9.20–9.30, berarti Anda akan menggunakan 1 sesi dengan total 1,00 USD.

Jika Anda memulai sesi pada pukul 09.00 dan berinteraksi dengan konsol DataBrew hingga pukul 09.50, lalu keluar dari ruang proyek DataBrew, dan kembali untuk melakukan interaksi terakhir pada pukul 10.15, aktivitas ini akan menggunakan 3 sesi dan Anda akan ditagih 1,00 USD per sesi dengan total 3 USD.
Tugas DataBrew
Contoh harga

AWS Glue DataBrew: Jika tugas DataBrew berjalan selama 10 menit dan menggunakan 5 simpul DataBrew, harganya akan menjadi 0,40 USD. Karena tugas Anda berjalan selama 1/6 jam dan menggunakan 5 simpul, Anda akan ditagih 5 simpul x 1/6 jam x 0,48 USD per jam simpul dengan total 0,40 USD.
Kualitas Data
Contoh harga

Contoh 1 – Dapatkan rekomendasi untuk tabel di Katalog Data

Misalnya, pertimbangkan tugas rekomendasi dengan 5 DPU yang selesai dalam 10 menit. Anda akan membayar 5 DPU x 1/6 jam x 0,44 USD, yang setara dengan 0,37 USD.

Contoh 2 – Evaluasi kualitas data tabel di Katalog Data

Setelah meninjau rekomendasi, Anda dapat mengeditnya jika perlu dan menjadwalkan tugas kualitas data dengan menyediakan DPU. Misalnya, Anda memiliki tugas evaluasi kualitas data dengan 5 DPU yang selesai dalam 20 menit.

Anda akan membayar 5 DPU x 1/3 jam x 0,44 USD, dengan total 0,73 USD.

Contoh 3 – Evaluasi kualitas data di tugas ETL AWS Glue

Anda juga dapat menambahkan pemeriksaan kualitas data ke tugas ETL AWS Glue untuk mencegah daya yang buruk memasuki danau data Anda. Anda dapat melakukannya dengan menambahkan Transformasi Kualitas Data ke AWS Glue Studio atau API AWS Glue dalam kode yang Anda tulis di notebook AWS Glue Studio. Anggaplah Anda memiliki operasi tugas AWS Glue dimana aturan kualitas data dikonfigurasi di dalam alur, yang berjalan selama 20 menit (1/3 jam) dengan 6 DPU. Anda akan dikenakan tarif 6 DPU x 1/3 jam x 0,44 USD, dengan total 0,88 USD. Anda juga dapat menggunakan Flex, yang akan mengenakan tarif 6 DPU x 1/3 jam x 0,29 USD, dengan total 0,58 USD.