Amazon Kinesis Data Firehose

Siapkan dan muat aliran data waktu nyata ke layanan analitik dan penyimpanan data.

Amazon Kinesis Data Firehose adalah cara termudah untuk memuat data streaming ke danau data, penyimpanan data, dan layanan analitik dengan tepercaya. Layanan ini dapat menangkap, mengubah, dan mengirimkan data streaming ke Amazon S3, Amazon Redshift, Amazon OpenSearch Service (penerus Amazon Elasticsearch Service), titik akhir HTTP umum, dan penyedia layanan seperti Datadog, New Relic, MongoDB, dan Splunk. Ini adalah layanan terkelola sepenuhnya yang menskalakan secara otomatis untuk menyesuaikan throughput data Anda dan tidak memerlukan administrasi berkelanjutan. Layanan ini juga dapat melakukan batch, kompresi, transformasi, dan enkripsi aliran data sebelum memuatnya, meminimalkan jumlah penyimpanan yang digunakan dan meningkatkan keamanan.

Anda dapat dengan mudah membuat aliran penyampaian Firehose dariAWS Management Console, mengonfigurasinya dengan beberapa klik, dan mulai mencerna data pengaliran dari ratusan ribu sumber data ke tujuan yang Anda tentukan. Anda juga dapat mengonfigurasi aliran data untuk secara otomatis mengonversi data yang masuk ke format berbasis standar dan terbuka seperti Apache Parquet dan Apache ORC sebelum data dikirimkan.

Dengan Amazon Kinesis Data Firehose, tidak ada biaya minimum atau biaya pengaturan. Anda membayar jumlah data yang Anda kirimkan melalui layanan, jika berlaku, untuk mengonversi format data, dan untuk pengiriman VPC Amazon serta transfer data.

Minta dukungan untuk bukti konsep atau evaluasi Anda »
Apa itu Amazon Kinesis Data Firehose? (1:45)

Keuntungan

Mudah Digunakan

Amazon Kinesis Data Firehose memberikan cara mudah untuk menangkap, mentransformasi, dan memuat data pengaliran hanya dengan beberapa klik di AWS Management Console. Anda dapat dengan cepat membuat aliran pengiriman Firehose, memilih tujuan, dan mulai mengirimkan data waktu nyata dari ratusan ribu sumber data secara bersamaan. Layanan ini menangani manajemen aliran, termasuk semua penskalaan, sharding, dan pemantauan, yang diperlukan untuk terus memuat data ke tujuan pada interval yang Anda tentukan.

Terintegrasi dengan layanan AWS dan penyedia layanan

Amazon Kinesis Data Firehose terintegrasi dengan Amazon S3, Amazon Redshift, dan Amazon OpenSearch Service. Dapat pula mengirimkan data ke endpoint HTTP umum dan langsung ke penyedia layanan seperti Datadog, New Relic, MongoDB, dan Splunk. Dari Konsol Manajemen AWS, Anda dapat mengarahkan Kinesis Data Firehose ke tujuan pilihan Anda dan menggunakan aplikasi serta alat yang ada untuk menganalisis data streaming.

Transformasi data bawaan nirserver

Kinesis Data Firehose memungkinkan Anda menyiapkan data streaming sebelum dimuat ke penyimpanan data. Anda dapat dengan mudah mengonversi data streaming mentah dari sumber data Anda ke dalam format seperti Apache Parquet dan Apache ORC, tanpa harus membangun jalur pemrosesan data Anda sendiri. Anda juga dapat mempartisi data streaming Anda secara dinamis sebelum dikirim ke S3 menggunakan kunci statis atau yang ditentukan secara dinamis seperti "customer_id" atau "transaction_id", dan mengirimkan data yang dikelompokkan berdasarkan kunci ini ke dalam prefiks S3 yang unik, sehingga memudahkan Anda untuk melakukan performa tinggi, biaya analitik yang efisien di S3 menggunakan Athena, EMR, dan Redshift Spectrum. Pelajari selengkapnya »

Mendekati waktu nyata.

Amazon Kinesis Data Firehose menangkap dan memuat data mendekati waktu nyata. Layanan ini memuat data baru ke tujuan Anda dalam waktu 60 detik setelah data dikirim ke layanan. Sehingga, Anda dapat mengakses data baru lebih cepat dan merespons kejadian bisnis dan operasional lebih cepat.

Tanpa administrasi yang berjalan

Amazon Kinesis Data Firehose adalah layanan terkelola sepenuhnya yang secara otomatis menyediakan, mengelola, serta menskalakan komputasi, memori, dan sumber daya jaringan yang diperlukan untuk memproses dan memuat data pengaliran Anda. Setelah disiapkan, ketika aliran data datang, Kinesis Data Firehose akan memuat aliran data tersebut ke tujuan Anda secara terus-menerus.

Hanya bayar sesuai pemakaian

Dengan Amazon Kinesis Data Firehose, Anda hanya membayar volume data yang Anda pindahkan melalui layanan, dan jika berlaku, untuk konversi format data. Anda juga membayar pengiriman Amazon VPC dan transfer data jika berlaku. Tidak ada biaya minimum atau komitmen di muka.

Cara kerjanya

Cara kerja Amazon Kinesis Data Firehose

Kasus penggunaan

Amazon Kinesis Data Firehose adalah layanan terkelola penuh, tanpa memerlukan administrasi berkelanjutan. Kinesis Data Firehose mengelola semua infrastruktur, penyimpanan, jaringan, dan konfigurasi yang mendasari yang diperlukan untuk mengalirkan data Anda dari sumber ke tujuan Anda. Di bawah adalah contoh kasus penggunaan utama yang dihadapi pengguna kami yang menggunakan Amazon Kinesis Data Firehose.

Streaming Data ke Danau Data dan Gudang Data

Kinesis Data Firehose mengaktifkan penyerapan data volume tinggi ke dalam danau data dan gudang data berbasis Amazon S3 Anda. Anda dapat mengonfigurasi Kinesis Data Firehose untuk mengonversi data Anda ke dalam format seperti Apache Parquet dan Apache ORC yang diperlukan oleh penyimpanan data tujuan Anda, tanpa harus membangun alur pemrosesan data Anda sendiri. Anda juga dapat mempartisi data streaming secara dinamis menggunakan kunci yang ditentukan dengan baik seperti “customer_id” atau “transaction_id”. Kinesis Data Firehose mengelompokkan data berdasarkan kunci-kunci ini dan mengirimkannya ke prefiks S3 kunci-unik, sehingga memudahkan Anda untuk melakukan analitik performa tinggi dan hemat biaya di S3 menggunakan Athena, EMR, dan Redshift Spectrum.

Aplikasi Machine Learning Streaming

Anda dapat membangun aplikasi Machine Learning (ML) streaming dengan Kinesis Data Firehose. Fitur lambda transformasi di Kinesis Data Firehose dapat memanggil model ML untuk analisis, titik akhir inferensi ML untuk prediksi guna memperkaya aliran data Anda saat dikirimkan ke tujuan Anda.

Log dan IoT Analytics

Dengan Amazon Kinesis Data Firehose, Anda dapat menangkap data secara berkelanjutan dari perangkat yang terhubung seperti perangkat pelanggan, sensor yang terpasang, dan kotak set-top TV. Kinesis Data Firehose memuat data ke tujuan yang Anda tentukan, memungkinkan akses yang mendekati waktu nyata ke metrik, wawasan, dan dasbor. Anda juga dapat mendeteksi kesalahan aplikasi saat terjadi dan mengidentifikasi akar masalah dengan mengumpulkan, memantau, dan menganalisis data log. Anda dapat dengan mudah menginstal dan mengonfigurasi Agen Amazon Kinesis pada server Anda untuk secara otomatis melihat aplikasi dan file log server dan mengirim data tersebut ke Kinesis Data Firehose. Kinesis Data Firehose secara terus menerus melakukan pengaliran data log ke tujuan Anda, sehingga Anda dapat memvisualisasikan dan menganalisis data tersebut.

Pemantauan Keamanan

Kinesis Data Firehose mendukung beberapa alat Informasi Keamanan dan Manajemen Peristiwa (SIEM) seperti Splunk sebagai tujuan. Artinya, Anda dapat menangkap dan mengirim log aliran lalu lintas jaringan ke Kinesis Data Firehose, yang dapat mengubah, memperkaya, dan memuat data ke Splunk. Dengan solusi ini, Anda dapat memantau keamanan jaringan secara real-time dan memberi peringatan apabila muncul kemungkinan ancaman.

Studi kasus

3Victors
3Victors mencerna lebih dari satu miliar pencarian perjalanan di seluruh dunia dan rencana perjalanan seharga 230 miliar setiap harinya dari sistem pemesanan terbesar di dunia.
Baca studi kasus 
Hearst
Hearst melakukan streaming 30+ terabyte data clickstream per hari dari situs webnya untuk analisis.
Baca studi kasus 
Comcast
Comcast menangkap dan menganalisis preferensi pelanggan untuk memberikan pengalaman hiburan yang kaya.
Baca studi kasus 
Redfin
Redfin membuat saluran penyerapan log yang andal yang meningkatkan layanan downstream SLA.
Baca studi kasus 
Realtor.com
Realtor.com melakukan streaming data impresi iklan dan mendapat wawasan yang dapat ditindaklanjuti untuk meningkatkan kinerja iklan.
Baca studi kasus 
Repp Health
Repp Health menggunakan layanan Amazon Kinesis untuk mencerna, memantau, dan memuat data pengaliran IoT ke dalam data lake Amazon S3 untuk analitik lokasi.
Baca studi kasus 

Postingan blog

Tanggal
  • Tanggal
1

Lihat blog untuk Amazon Kinesis Data Firehose.

Memulai dengan Amazon Kinesis Data Firehose

Baca panduan pengembang
Ulas panduan pengembang

Pelajari tentang Kinesis Data Firehose dari panduan pengembang.

Pelajari selengkapnya 
Daftar untuk akun AWS gratis
Daftar untuk akun gratis

Dapatkan akses secara instan ke AWS Tingkat Gratis. 

Daftar 
Mulai tutorial Kinesis Data Firehose
Mulai streaming data Anda

Dapatkan pengalaman langsung dengan tutorial ini.

Mulai tutorial 

Pelajari selengkapnya tentang fitur Amazon Kinesis Data Firehose

Kunjungi halaman fitur
Siap untuk memulai?
Daftar
Punya pertanyaan lainnya?
Hubungi kami