Penyerapan data dengan menggunakan Amazon Kinesis Data Firehose

Dengan Amazon Kinesis Firehose, Anda bisa mengonversi data streaming mentah dari sumber data Anda dengan mudah ke dalam format yang diperlukan oleh indeks Elasticsearch atau OpenSearch dan memuatnya ke Amazon OpenSearch Service, tanpa harus membangun alur pemrosesan data Anda sendiri.

Untuk menggunakan fitur ini, pilih fungsi AWS Lambda dari tab konfigurasi aliran pengiriman Amazon Kinesis Firehose di Konsol Manajemen AWS. Amazon Kinesis Firehose akan menerapkan fungsi AWS Lambda secara otomatis ke setiap catatan data masukan dan memuat data yang diubah ke indeks Amazon OpenSearch Service Anda.

Amazon Kinesis Firehose menyediakan cetak biru Lambda yang telah dibangun sebelumnya, yang bisa digunakan tanpa perubahan apa pun, atau disesuaikan untuk mengonversi sumber data umum seperti log Apache dan log sistem ke format JSON dan CSV. Anda juga bisa mengonfigurasi Amazon Kinesis Firehose untuk mencoba menjalankan kembali tugas yang gagal dan mencadangkan data streaming mentah secara otomatis. Pelajari selengkapnya »

 

Penyerapan data menggunakan Logstash

Amazon OpenSearch Service mendukung integrasi dengan Logstash, suatu alat pemrosesan data sumber terbuka yang mengumpulkan data dari sumber, mengubahnya, lalu memuatnya ke Elasticsearch atau OpenSearch. Anda bisa menerapkan Logstash di Amazon EC2 dengan mudah dan menetapkan domain Amazon OpenSearch Service sebagai penyimpanan backend untuk semua log yang masuk melalui implementasi Logstash Anda. Logstash mendukung pustaka filter yang telah dibangun sebelumnya untuk melakukan transformasi umum dengan mudah, seperti menguraikan data log tidak terstruktur menjadi data terstruktur melalui pencocokan pola; mengganti nama, menyingkirkan, mengganti, dan memodifikasi kolom dalam catatan data Anda; dan menggabungkan metrik. Pelajari selengkapnya »

Penyerapan data menggunakan Amazon CloudWatch Logs

Anda bisa menggunakan Amazon CloudWatch Logs untuk memantau dan memecahkan masalah pada sistem dan aplikasi menggunakan sistem, aplikasi, dan file log kustom yang sudah tersedia. Anda bisa mengonfigurasi grup log CloudWatch Logs untuk mengalirkan data ke domain Amazon OpenSearch Service secara hampir waktu nyata melalui langganan CloudWatch Logs. Integrasi ini mudah dilakukan jika Anda sudah menggunakan CloudWatch Logs untuk mengumpulkan data log, dan ingin membagikan data tersebut kepada pengguna Amazon OpenSearch Service Anda. Pelajari selengkapnya »

Penyerapan data menggunakan AWS IoT

AWS IoT merupakan platform cloud terkelola yang memungkinkan perangkat terhubung dan berinteraksi dengan mudah dan aman menggunakan aplikasi cloud dan perangkat lain. Dengan AWS IoT, Anda bisa mengambil data dari perangkat yang terhubung seperti peralatan konsumen, sensor tertanam, dan dekoder/STB TV. Dengan menggunakan konsol Manajemen AWS, Anda bisa mengonfigurasi AWS IoT untuk memuat data secara langsung ke Amazon OpenSearch Service, memungkinkan Anda untuk menyediakan akses data dan metrik IoT kepada pelanggan Anda secara hampir waktu nyata. Pelajari selengkapnya »

Cara memilih mekanisme penyerapan yang tepat

Memilih mekanisme penyerapan yang tepat tergantung pada persyaratan kasus penggunaan Anda seperti latensi data dan tipe data. Untuk volume data yang besar, kami merekomendasikan penggunaan Amazon Kinesis Data Firehose, yang terkelola secara menyeluruh, menskalakan dirinya secara otomatis agar sesuai dengan throughput data Anda, dan tidak memerlukan administrasi secara berkelanjutan. Juga bisa mengubah, mengompresi, dan mengelompokkan data sebelum memuatnya ke domain Amazon OpenSearch Service. Sering kali, pilihan juga tergantung pada layanan yang sudah Anda gunakan. Misalnya, jika Anda sudah mengumpulkan log aplikasi menggunakan Amazon CloudWatch Logs, Anda cukup memuat data tersebut ke domain Amazon OpenSearch Service tanpa perlu melakukan banyak upaya tambahan.

Langkah berikutnya

OpenSearch mencakup kode Elasticsearch berlisensi Apache dari Elasticsearch B.V. dan beberapa kode sumber lainnya. Elasticsearch B.V. bukan merupakan sumber dari kode sumber lain tersebut. ELASTICSEARCH adalah merek dagang terdaftar dari Elasticsearch B.V.

Pelajari selengkapnya tentang harga Amazon OpenSearch Service

Kunjungi halaman harga
Siap membangun?
Mulai Amazon OpenSearch Service
Ada pertanyaan lain?
Hubungi kami