Fitur Amazon OpenSearch Service

Penyiapan dan konfigurasi: Memulai OpenSearch Service sangatlah mudah dilakukan. Anda dapat menyiapkan dan mengonfigurasi klaster OpenSearch Service menggunakan Konsol Manajemen AWS atau panggilan API tunggal melalui AWS Command Line Interface (AWS CLI). Anda dapat menentukan jumlah instans, jenis instans, opsi penyimpanan dan mengubah atau menghapus klaster yang sudah ada kapan saja.

Pembaruan di tempat: OpenSearch Service memudahkan untuk memperbarui klaster OpenSearch dan Elasticsearch (hingga versi 7.10) ke versi yang lebih baru tanpa waktu henti, menggunakan pembaruan versi di tempat. Pembaruan di tempat menghilangkan kerumitan dalam mengambil snapshot secara manual, memulihkannya ke klaster yang menjalankan versi yang lebih baru, dan memperbarui semua referensi titik akhir Anda.

Pemantauan dan peringatan peristiwa: OpenSearch Service menyediakan pemantauan dan peringatan peristiwa bawaan, yang memungkinkan Anda untuk memantau data yang disimpan di klaster dan secara otomatis mengirimkan notifikasi berdasarkan ambang batas yang telah dikonfigurasikan sebelumnya. Dibangun menggunakan plugin peringatan OpenSearch, fitur ini memungkinkan Anda untuk mengonfigurasi dan mengelola peringatan menggunakan antarmuka Kibana atau Dasbor OpenSearch dan API REST. Anda menerima notifikasi melalui webhook kustom, Slack, Amazon Simple Notification Service (Amazon SNS), dan Amazon Chime. Anda juga dapat melihat metrik kondisi klaster, termasuk jumlah instans, kondisi klaster, dokumen yang dapat dicari, CPU, dan memori, serta pemanfaatan disk untuk data dan simpul utama melalui Amazon CloudWatch, tanpa biaya tambahan.

Dukungan untuk berbagai bahasa kueri: Dengan OpenSearch Service, Anda tidak lagi memerlukan kemahiran bahasa khusus domain (DSL) kueri OpenSearch. Tulis kueri SQL dengan SQL OpenSearch atau gunakan OpenSearch Piped Processing Language (PPL), sebuah bahasa kueri yang memungkinkan Anda menggunakan sintaksis pipa (|), menjelajahi, menemukan, dan melakukan kueri data Anda. Dasbor OpenSearch juga menyertakan workbench SQL dan PPL.

Integrasi dengan peralatan sumber terbuka: OpenSearch Service menghadirkan Dasbor OpenSearch dan Kibana bawaan (Elasticsearch versi 7.10 dan versi sebelumnya) serta terintegrasi dengan Logstash, sehingga Anda dapat menyerap dan memvisualisasikan data Anda menggunakan peralatan sumber terbuka yang diinginkan. Lakukan analitik pelacakan dengan dukungan OpenSearch Service untuk standar OpenTelemetry sumber terbuka dan gunakan terus kode yang sudah ada dengan akses langsung ke API dan plugin Elasticsearch seperti Kuromoji, Phonetic Analysis, Ingest Processor Attachment, Ingest User Agent Processor, dan Mapper Murmur3.

Keamanan: Dengan OpenSearch Service, Anda dapat menghubungkan aplikasi ke Elasticsearch terkelola (versi 7.10 dan versi sebelumnya) atau lingkungan OpenSearch secara aman dari Amazon Virtual Private Cloud (Amazon VPC) atau melalui internet publik, yang akan mengonfigurasi akses jaringan menggunakan grup keamanan VPC atau kebijakan akses berdasarkan IP. Anda juga dapat mengautentikasi pengguna dan mengontrol akses secara aman menggunakan Amazon Cognito, AWS Identity and Access Management (IAM), atau autentikasi dasar dengan nama pengguna dan kata sandi. OpenSearch Service menggunakan plugin keamanan OpenSearch sehingga membantu Anda menentukan izin terperinci untuk indeks, dokumen, atau bidang. Anda juga dapat memperluas Kibana dengan tampilan hanya baca dan dukungan multi-penyewa yang aman. OpenSearch Service juga mendukung enkripsi bawaan untuk data diam dan bergerak sehingga Anda dapat melindungi data saat disimpan di domain atau di snapshot otomatis dan transfer antara simpul di domain Anda. OpenSearch Service memenuhi persyaratan HIPAA dan sesuai dengan standar PCI DSS, SOC, ISO, serta FedRAMP sehingga memudahkan untuk membangun aplikasi yang memenuhi persyaratan kepatuhan.

Nirserver: Secara otomatis menyediakan dan secara berkelanjutan menyesuaikan untuk mendapatkan laju penyerapan data yang cepat serta waktu respons milidetik selama perubahan pola penggunaan dan permintaan dengan Amazon OpenSearch Nirserver.

Penyimpanan panas memungkinkan pengambilan data yang sering diakses secara cepat. UltraWarm merupakan tingkat penyimpanan hangat yang melengkapi tingkat penyimpanan panas OpenSearch Service dengan menyediakan penyimpanan yang lebih murah untuk data yang lebih lama dan lebih jarang diakses, sambil tetap memberikan pengalaman kueri yang interaktif. UltraWarm menyimpan data di Amazon Simple Storage Service (Amazon S3) dan menggunakan simpul kustom dengan pengoptimalan tinggi yang dibuat khusus di AWS Nitro System untuk melakukan cache, mengambil terlebih dahulu, dan membuat kueri data tersebut dengan cepat.

Dengan UltraWarm, Anda bisa mempertahankan hingga 3 PB data dalam satu klaster OpenSearch Service, sekaligus mengurangi biaya per GB hingga hampir 90% dibandingkan dengan tingkat penyimpanan panas. Anda juga dapat melakukan kueri dan memvisualisasikan data secara mudah di antarmuka Kibana (versi 7.10 dan versi sebelumnya) atau Dasbor OpenSearch. Lakukan analisis pada data log terkini (minggu) dan riwayat (bulan atau tahun) Anda tanpa perlu meluangkan waktu selama berjam-jam atau berhari-hari untuk memulihkan log yang diarsipkan.

T: Apa itu UltraWarm?

UltraWarm adalah tingkat penyimpanan hangat yang terkelola penuh dan berbiaya rendah untuk OpenSearch Service. UltraWarm kompatibel dengan OpenSearch, Elasticsearch (hingga versi 7.10), Dasbor OpenSearch, dan Kibana (hingga versi 7.10) sehingga membantu Anda menganalisis data menggunakan alat yang sama yang disediakan OpenSearch Service saat ini. UltraWarm secara lancar terintegrasi dengan fitur OpenSearch Service yang sudah ada seperti peringatan terintegrasi, kueri SQL, dan masih banyak lagi. 

T: Mengapa saya harus menggunakan UltraWarm?

UltraWarm membantu Anda memperluas data yang ingin dianalisis secara efektif di OpenSearch Service. Anda dapat memperoleh wawasan berharga tentang data yang sebelumnya mungkin telah dihapus atau diarsipkan. Dengan UltraWarm, kini Anda dapat mempertahankan lebih banyak data secara ekonomis untuk menganalisisnya secara interaktif kapan pun.

T: Bagaimana UltraWarm terkait/bekerja dengan OpenSearch Service?

OpenSearch Service mendukung dua tingkat penyimpanan terintegrasi, panas dan UltraWarm. Tingkat panas didukung oleh simpul data yang digunakan untuk mengindeks, memperbarui, dan menyediakan akses tercepat ke data. Simpul UltraWarm melengkapi tingkat panas dengan menyediakan tingkat hanya baca yang berbiaya rendah untuk data yang lebih lama dan lebih jarang diakses.

T: Mengapa UltraWarm hanya membutuhkan data primer untuk ketahanan?

UltraWarm menggunakan Amazon S3 untuk penyimpanan, yang dirancang untuk 99,999999999 persen ketahanan, dan menghilangkan kebutuhan untuk mengonfigurasi replika Elasticsearch bagi data hangat Anda. Selain itu, jika Anda memiliki lebih dari satu simpul UltraWarm lalu terjadi kegagalan simpul, simpul UltraWarm lainnya akan secara otomatis mengakses data sesuai kebutuhan.

T: Berapa banyak data yang bisa saya simpan di dalam UltraWarm?

UltraWarm mendukung hingga 3 PB data primer. UltraWarm dirancang untuk memungkinkan Anda memanfaatkan 100% penyimpanan ini. Karena UltraWarm menyimpan data di Amazon S3 untuk ketahanan, Anda tidak perlu menggunakan penyimpanan tambahan untuk replika Elasticsearch.

T: Apa saja karakteristik performa UltraWarm?

UltraWarm menghadirkan pengalaman interaktif di Dasbor OpenSearch dan Kibana dengan mengimplementasikan caching I/O yang terperinci, pengambilan terlebih dahulu, dan optimisasi mesin kueri untuk memberikan performa yang serupa dengan instans yang memiliki kepadatan tinggi menggunakan penyimpanan lokal.

T: Bagaimana cara mulai menggunakan UltraWarm?

Untuk memulai UltraWarm, buat domain OpenSearch Service baru dengan UltraWarm yang diaktifkan melalui konsol, CLI, atau API. Setelah domain dibuat, Anda dapat memindahkan data dari tingkat panas ke UltraWarm menggunakan API OpenSearch/Elasticsearch. Untuk informasi selengkapnya, lihat Panduan Developer OpenSearch Service.

Penyimpanan dingin merupakan opsi penyimpanan berbiaya terendah untuk OpenSearch Service, yang memungkinkan Anda mempertahankan data yang jarang diakses di Amazon S3 dan hanya membayar biaya komputasi saat Anda memerlukannya. Penyimpanan dingin dibangun di atas UltraWarm, yang menyediakan simpul khusus dan menyimpan data di Amazon S3 serta menggunakan solusi cache yang canggih untuk memberikan pengalaman interaktif. Dengan memisahkan sumber daya komputasi dari penyimpanan, penyimpanan dingin membantu Anda mempertahankan data dalam jumlah berapa pun di domain OpenSearch Service, sekaligus mengurangi biaya per GB hingga mendekati harga penyimpanan Amazon S3. Lepaskan data hangat historis atau data yang jarang diakses saat tidak digunakan dan kosongkan komputasi untuk membantu menurunkan biaya operasi. Temukan dan lampirkan data dingin Anda secara selektif ke simpul UltraWarm domain dalam hitungan detik dengan pilihan antarmuka Kibana (versi 7.10 dan versi sebelumnya) atau Dasbor OpenSearch dan API yang mudah digunakan. Dengan cold storage, Anda dapat melakukan kueri data dingin terlampir sambil menghadirkan pengalaman dan kinerja interaktif yang serupa dengan data hangat Anda.

T: Apa itu penyimpanan dingin?

Penyimpanan dingin adalah tingkat penyimpanan terkelola penuh dengan berbiaya terendah untuk OpenSearch Service yang akan memudahkan Anda menyimpan dan menganalisis log historis sesuai permintaan dengan aman. Penyimpanan dingin membantu Anda untuk sepenuhnya melepaskan penyimpanan dari komputasi ketika Anda tidak lagi secara aktif melakukan analisis data dan memungkinkan data Anda tetap tersedia dengan biaya rendah. Data penyimpanan dingin tersedia dalam domain OpenSearch Service melalui simpul UltraWarm Anda. Penyimpanan dingin terintegrasi secara lancar dengan OpenSearch dan Dasbor OpenSearch, serta Elasticsearch (versi 7.9 dan 7.10) dan Kibana (versi 7.9 dan 7.10). Hal ini membantu Anda menganalisis data menggunakan alat yang sama, yang saat ini disediakan oleh OpenSearch Service.

T: Mengapa saya harus menggunakan penyimpanan dingin?

Penyimpanan dingin memungkinkan Anda untuk secara efektif memperluas data yang ingin Anda analisis di OpenSearch Service dan mendapatkan wawasan berharga tentang data yang sebelumnya mungkin telah dihapus atau diarsipkan. Penyimpanan dingin sangat cocok jika Anda memiliki kebutuhan untuk melakukan penelitian atau analisis forensik pada data lama Anda dan ingin menggunakan semua kemampuan OpenSearch Service untuk melakukannya dengan harga yang terjangkau. Penyimpanan dingin dibuat untuk menskalakan dan didukung oleh Amazon S3. Cari dan temukan data yang Anda butuhkan, lampirkan ke simpul UltraWarm di klaster Anda, dan sediakan untuk analisis dalam hitungan detik. Data dingin yang terlampir tunduk pada kebijakan kontrol akses mendetail yang ada serta membatasi akses pada tingkat indeks, dokumen, dan bidang.

T: Bagaimana penyimpanan dingin terkait/bekerja dengan OpenSearch Service?

Dengan penyimpanan dingin, OpenSearch Service mendukung tiga tingkat penyimpanan terintegrasi: panas, UltraWarm, dan dingin. Tingkat panas digunakan untuk mengindeks, memperbarui, dan menyediakan akses tercepat ke data. UltraWarm menyediakan ekstensi tanpa batas dari hot tier dengan menyediakan node komputasi yang memberikan pengalaman interaktif berkinerja tinggi untuk data yang disimpan secara tahan lama di Amazon S3 dan perlu tersedia terus-menerus, saat ini mendukung hingga 3PB data dalam satu domain. Dengan penyimpanan dingin, kini Anda dapat melepaskan indeks dari UltraWarm saat tidak digunakan dan mengosongkan komputasi untuk membantu menurunkan biaya. Dengan API penyimpanan dingin dan Dasbor OpenSearch serta antarmuka Kibana, Anda dapat menemukan indeks berdasarkan pola indeks dan stempel waktu data untuk menemukan hal yang Anda perlukan untuk analisis secara mudah. Kemudian, data tersebut dapat dilampirkan ke domain dan siap dianalisis dalam hitungan detik. Setelah Anda selesai menganalisis, lepaskan data, lalu bebaskan komputasi Anda kembali. 

T: Berapa banyak data yang bisa saya simpan di dalam penyimpanan dingin?

Penyimpanan dingin dibuat untuk menskalakan. Meskipun batas penyimpanan untuk data panas dan hangat tetap pada 3 PB, Anda dapat menyimpan data dalam jumlah berapa pun dalam penyimpanan dingin.

T: Apa saja karakteristik performa penyimpanan dingin?

Penyimpanan dingin dibangun di atas UltraWarm, yang menyediakan simpul khusus dan menyimpan data di Amazon S3 serta menggunakan solusi cache yang canggih untuk memberikan pengalaman interaktif. Data dingin harus terlebih dahulu dilampirkan ke simpul UltraWarm dari domain OpenSearch Service Anda. Setelah dilampirkan, kueri pada data ini didukung oleh simpul UltraWarm yang sudah ada dan menawarkan performa yang sama dengan data hangat Anda. Melampirkan indeks dingin ke domain Anda membutuhkan waktu beberapa detik jika tersedia kapasitas UltraWarm yang cukup untuk data yang diminta. Jika Anda membutuhkan kapasitas tambahan, simpul data UltraWarm harus ditambahkan dan dapat memakan waktu selama beberapa menit.

OpenSearch Service menyediakan kemampuan pencarian dokumen waktu nyata yang melampaui pencarian basis data. Layanan terkelola penuh ini menggunakan mesin OpenSearch untuk pencarian. OpenSearch adalah mesin pencari sumber terbuka yang bersifat agnostik platform, berfitur lengkap, berbasis Lucene, dan portabel yang mendukung pencarian kata kunci, pencarian bahasa alami, sinonim, banyak bahasa, dan lainnya. Kemampuan pencarian inti meliputi:

• Memperoleh data dari basis data atau sistem manajemen konten, perayap web atau intranet, atau layanan streaming
  
• Menyediakan API pencarian untuk membangun frontend di atas layanan pencarian
  
• Mendukung pencarian di banyak atribut
  
• Mencari dokumen baru yang cocok dengan serangkaian kueri tersimpan dengan pencarian prospektif (perkolasi)
  
• Menilai pola penggunaan dan melakukan perencanaan kapasitas serta prediksi biaya dengan kemampuan pemantauan OpenSearch Service
  
• Menggunakan algoritma machine learning (ML) bawaan untuk pencarian k-nearest neighbors (k-NN) guna menyelesaikan pencarian vektor, pencarian kesamaan, pencarian semantik, dan lainnya
• Menggunakan algoritma ML bawaan untuk Belajar Memberi Peringkat guna menghitung skor relevansi
  
• Menyediakan penyimpanan dan pencarian vektor yang sederhana, dapat diskalakan, dan beperforma tinggi untuk mendukung pengalaman pencarian ML yang ditingkatkan dan aplikasi AI generatif
• Menggunakan beberapa bahasa kueri, termasuk SQL
  

Sumber daya pencarian

Bantu tim operasi keamanan (SecOps) Anda untuk mendeteksi potensi ancaman secara cepat sekaligus memiliki alat untuk membantu penyelidikan keamanan, dengan biaya retensi data yang rendah. Amankan data bisnis Anda dan deteksi potensi ancaman keamanan dengan cepat. OpenSearch Service menyediakan dukungan unik untuk lebih dari 2.200 aturan keamanan Sigma sumber terbuka guna mendeteksi potensi ancaman keamanan dengan memfilter melalui temuan keamanan. Bahkan, Anda dapat menyesuaikan atau menggunakan aturan Sigma default untuk mendeteksi potensi ancaman keamanan secara cepat dan mengirimkan peringatan ke tujuan yang telah dipilih sebelumnya. Gunakan dukungan siap pakai untuk beberapa sumber log termasuk Windows, NetFlow, AWS CloudTrail, DNS, dan lainnya. 

T: Apa itu analitik keamanan?

Analitik keamanan OpenSearch didesain untuk membantu menyelidiki, mendeteksi, menganalisis, dan merespons ancaman keamanan yang dapat membahayakan operasi fungsi penting dalam bisnis. Ancaman ini mencakup potensi paparan data rahasia, serangan siber, dan peristiwa keamanan yang merugikan lainnya. Analitik keamanan ini mencakup alat dan fitur yang diperlukan untuk menentukan parameter deteksi, menghasilkan peringatan, dan merespons potensi ancaman secara efektif.

T: Jenis log keamanan apa yang didukung oleh analitik keamanan?

Saat ini, kami mendukung delapan jenis log, termasuk NetFlow, log DNS, log akses Apache, log Windows, log AD/LDAP, log sistem Linux, log AWS CloudTrail, dan log akses Amazon S3

T: Bagaimana cara mengirim log keamanan ini ke OpenSearch?

Anda dapat menggunakan alur penyerapan yang ada, yang mengirim data dengan format JSON ke OpenSearch.

T: Apakah analitik keamanan menyediakan aturan keamanan unik? 

Ya, analitik keamanan OpenSearch mengemas lebih dari 2.200 aturan keamanan Sigma untuk penggunaan siap pakai dengan berbagai jenis detektor keamanan. Aturan ini telah dipilih sebelumnya setelah Anda memberikan konfigurasi minimal tentang sumber log.

T: Dapatkah saya membuat aturan kustom saya sendiri?

Ya, aturan kustom dapat ditambahkan untuk jenis log yang didukung di atas. Aturan ini harus dalam format aturan Sigma dan dapat diimpor ke OpenSearch sebelum digunakan dengan detektor keamanan.

T: Apakah saya perlu mengonversi log ke format atau skema tertentu? 

Ya, log tersebut harus dalam format JSON. Kami menyarankan agar Anda mengirimnya dalam format ECS (Elastic Common Schema).

T: Apakah saya perlu membayar biaya lisensi tambahan untuk menggunakan analitik keamanan? 

Analitik keamanan OpenSearch tersedia untuk Anda tanpa biaya tambahan atau biaya lisensi. Anda membayar biaya yang sama seperti yang Anda bayarkan untuk menyerap data lain ke OpenSearch Service. 

T: Versi OpenSearch Service mana yang mendukung analitik keamanan? 

Analitik keamanan bersifat prainstal dengan OpenSearch Service yang menjalankan OpenSearch versi 2.5 atau yang lebih tinggi.

T: Apakah ada perbedaan antara analitik keamanan OpenSearch dan Amazon Security Lake? 

Danau Keamanan Amazon secara otomatis memusatkan data keamanan dari cloud, on-premise, dan sumber kustom ke dalam danau data yang dibangun secara khusus dan disimpan di akun Anda. Data agregat ini dinormalisasikan ke dalam format umum dan disimpan di dalam bucket S3. Data ini dapat diserap ke dalam OpenSearch Service, yang memungkinkan Anda untuk memvisualisasikan, melakukan kueri, dan membuat laporan. Analitik keamanan menyediakan mesin aturan keamanan yang dapat membantu Anda mendeteksi dan memperingatkan potensi peristiwa keamanan, serta membantu menghubungkannya untuk membantu penyelidikan Anda.

T: Dapatkah saya menggunakan analitik keamanan OpenSearch dengan Amazon Security Lake? 

Ya, Anda dapat membawa log tambahan dari Security Lake ke OpenSearch dan membuat detektor untuk menjalankan aturan yang relevan pada log yang diserap.

Detail fitur OpenSearch Service:

• Sadar Biaya
• Integrasi
• Layanan Terkelola
• Nirserver
• Observabilitas
• Keamanan