« Analitik

Amazon Data Firehose

Muat aliran waktu nyata dengan andal ke layanan danau data, gudang, dan analitik

Tangkap, ubah, dan muat data streaming dengan mudah. Buat aliran pengiriman, pilih tujuan, dan mulai streaming data waktu nyata hanya dengan beberapa klik saja.

Sediakan dan skalakan sumber daya komputasi, memori, dan jaringan secara otomatis tanpa administrasi berkelanjutan.

Ubah data streaming mentah menjadi berbagai format, seperti Apache Parquet, dan lakukan partisi data streaming secara dinamis tanpa membangun pipeline pemrosesan Anda sendiri.

Cara kerja

Amazon Data Firehose menyediakan cara termudah untuk memperoleh, mengubah, dan mengirimkan aliran data dalam hitungan detik ke danau data, gudang data, dan layanan analitik. Untuk menggunakan Amazon Data Firehose, Anda mengatur aliran dengan sumber, tujuan, dan transformasi yang diperlukan. Amazon Data Firehose terus memproses aliran, secara otomatis menskalakan berdasarkan jumlah data yang tersedia, dan mengirimkannya dalam hitungan detik.

Sumber

Pilih sumber untuk aliran data Anda, seperti topik di Amazon Managed Streaming untuk Kafka (MSK), aliran di Kinesis Data Streams, atau tulis data menggunakan Firehose Direct PUT API. Amazon Data Firehose terintegrasi ke dalam 20+ layanan AWS, sehingga Anda dapat mengatur aliran dari sumber seperti Log Amazon Cloudwatch, log ACL web AWS WAF, AWS Network Firewall Logs, Amazon SNS, atau AWS IoT.

Transformasi Data (opsional)

Tentukan apakah Anda ingin mengonversi aliran data Anda menjadi format seperti Parquet atau ORC, mendekompresi data, melakukan transformasi data khusus menggunakan fungsi AWS Lambda Anda sendiri, atau mempartisi catatan input secara dinamis berdasarkan atribut untuk dikirimkan ke lokasi yang berbeda.

Tujuan

Pilih tujuan untuk aliran Anda, seperti Amazon S3, Amazon OpenSearch Service, Amazon Redshift, Splunk, Snowflake, atau titik akhir HTTP khusus.

Untuk informasi selengkapnya tentang Amazon Data Firehose, lihat Dokumentasi Amazon Data Firehose.

Diagram yang menunjukkan bagaimana cara menyiapkan aliran pengiriman data dengan Amazon Firehose. Dijelaskan di tautan "Perbesar dan baca deskripsi gambar."

Kasus penggunaan

Alirkan ke gudang dan danau data

Alirkan data ke Amazon S3 dan konversikan data ke format yang diperlukan untuk analisis membuat membangun alur pemrosesan.

Tingkatkan keamanan

Pantau keamanan jaringan secara langsung dan buat peringatan saat potensi ancaman muncul menggunakan alat Informasi Keamanan dan Manajemen Peristiwa (SIEM) yang didukung.

Buat aplikasi streaming ML

Perkaya aliran data Anda dengan model machine learning (ML) untuk menganalisis data dan memprediksi titik akhir inferensi saat aliran bergerak ke tujuannya.