Apa itu analitik log?

Aplikasi, server, infrastruktur cloud, IoT & perangkat seluler, DevOps, arsitektur layanan mikro – tren bisnis dan IT terbesar membantu kami meningkatkan operasi serta pengalaman pelanggan yang belum pernah ada sebelumnya. Namun, tren ini juga menghasilkan ledakan pertumbuhan data yang dihasilkan mesin, yang mencakup log dan metrik seperti transaksi pengguna, perilaku pelanggan, aktivitas sensor, perilaku mesin, serta ancaman keamanan. Data ini kompleks, tetapi juga paling berharga karena mengandung kecerdasan operasional untuk IT, keamanan, dan bisnis.

Analitik log melibatkan pencarian, analisis, dan visualisasi data mesin yang dihasilkan oleh sistem IT dan infrastruktur teknologi Anda untuk mendapatkan wawasan operasional. Alat analitik data tradisional tidak dibuat untuk menangani variasi dan volume dari data mesin yang bertambah dengan cepat. 

Mengapa analitik log penting?

Data log terus bertambah. Tanpa solusi holistik dan sadar biaya, biaya hanya akan terus bertambah tanpa terkendali. Data manusia dan data yang dihasilkan mesin bertambah dengan kecepatan yang luar biasa. Data yang dihasilkan manusia memiliki tingkat pertumbuhan konservatif sebesar 10x lipat dari data bisnis. Data mesin diproyeksikan akan bertambah lebih banyak lagi.

Bagaimana sejarah dari analitik log?

Sejak kami mulai membuat catatan yang dihasilkan komputer, kami telah mencoba menganalisis catatan tersebut secara massal. Catatan dihasilkan oleh perangkat, aplikasi, jaringan (dan masih banyak lagi), lalu diurutkan berdasarkan waktu ke dalam log. Sering kali log ini tidak didokumentasikan secara penuh atau dibentuk secara konsisten di seluruh aplikasi atau perangkat, yang selanjutnya membangun kasus untuk analitik log.

Ke mana pasar analitik log akan bergerak selanjutnya?

Data log jarang hilang—hanya disimpan dan diakses secara berbeda. Seiring bertambahnya volume, kami membutuhkan metode yang lebih canggih untuk menyimpan data tersebut dan memahaminya. Machine learning sedang digunakan untuk menemukan pola dalam tumpukan data yang terus bertambah, tetapi masih banyak lagi yang dapat dilakukan untuk membantu analitik keamanan, deteksi penipuan, deteksi anomali, dan sebagainya.

Apa manfaat analitik log?

Analitik log dapat menjawab pertanyaan analitik operasional yang berharga, seperti daftar di bawah ini. Bayangkan jika Anda memiliki jawaban secara langsung untuk pertanyaan-pertanyaan ini:

  • Apakah infrastruktur saya berfungsi?
  • Berapa latensi dan tingkat kesalahannya?
  • Apa yang menyebabkan masalah pada aplikasi saya?
  • Apakah ada aktivitas autentikasi yang mencurigakan?
  • Data apa yang diakses oleh alamat IP ini?
  • Apakah ada instans penipuan?
  • Konten/produk apa yang diminati oleh pengguna saya?
  • Fitur mana yang paling sering atau paling jarang digunakan?
  • Pengguna mana yang paling aktif dan mengapa?

Untuk mengetahui lebih mendalam mengenai manfaat analitik log, lihat makalah dari Omdia di sini.

Apa saja tantangan untuk analitik log?

Beberapa tantangan utama yang dihadapi alat analitik log meliputi: 

  • Keragaman data dan volume data yang meningkat dengan cepat

  • Keamanan dan biaya merupakan persyaratan penting
  • Hasil secara langsung dan prediktif tidak dapat ditambahkan dengan mudah ke arsitektur lama

Siapa yang menggunakan analitik log?

Pengguna primer analitik log adalah teknisi DevOps, staf keandalan situs, dan arsitek korporasi.

Apa yang dilakukan analitik log?

Pemantauan aplikasi dan infrastruktur secara langsung

Tangkap dan pusatkan semua log serta metrik dari aplikasi dan silo IT Anda untuk mendapatkan visibilitas mendalam ke tumpukan aplikasi dan infrastruktur Anda, serta memastikan waktu kerja. Anda perlu mengindeks data guna membuatnya tersedia untuk analisis secara langsung, yang memungkinkan Anda memvisualisasikan metrik performa secara langsung.

Analisis akar penyebab

Identifikasi masalah dengan cepat di seluruh lingkungan Anda (server, kode) untuk mengurangi waktu rata-rata untuk identifikasi (MTTI) dan waktu rata-rata untuk pemecahan (MTTR). Dengan alat visualisasi, Anda menelusuri jutaan peristiwa dan menghubungkan seluruh aplikasi dan infrastruktur Anda untuk mendiagnosis akar penyebab masalah dengan cepat, serta meningkatkan waktu kerja.

Analitik clickstream

Dapatkan tampilan secara langsung dari performa konten web Anda, dan interaksi pengguna dengan aplikasi dan situs web Anda yang meliputi perilaku pengguna, jumlah waktu yang dihabiskan, konten populer, dan masih banyak lagi. Anda dapat menggabungkan dan menganalisis log clickstream dengan mudah untuk mendapatkan pemahaman yang lebih dalam mengenai pelanggan Anda.

Kecerdasan keamanan dan pengelolaan peristiwa (SIEM)

Pusatkan dan analisis peristiwa yang dihasilkan di seluruh lingkungan Anda termasuk aplikasi, jaringan, dan sistem operasi untuk mengidentifikasi aktivitas berbahaya atau mencurigakan di jaringan Anda. Anda dapat mengindeks data sesegera mungkin setelah layanan ini diserap, yang memungkinkan Anda untuk menganalisis data dari berbagai sumber secara instan serta mencari dan mencegah ancaman dengan lebih cepat.

Cara membuat strategi analitik log

Strategi analitik log Anda harus menangani penyerapan, transformasi dan pengayaan data, strategi pengindeksan dan serpihan, perencanaan infrastruktur, serta yang terakhir siklus hidup data dan pengarsipan data. Berikut adalah langkah umum yang harus dilakukan: 

  1. Pertama, Anda harus mengidentifikasi gerakan data atau penyerapan data. Pada dasarnya, Anda harus mencari tahu jalur penyerapan.

  2. Kedua, Anda harus menyiapkan transformasi data dari baris dan string log. Analitik log sering kali bekerja bersama JSON--seseorang harus mengubah data dengan tepat dan menjadikan data tersebut kaya jika diperlukan.

  3. Ketiga, Anda harus mencari tahu strategi pengindeksan dan serpihan. Perlunya untuk membuat indeks secara tepat.

  4. Keempat, Anda juga harus melakukan beberapa perencanaan infrastruktur untuk mengetahui tipe dan jumlah instans yang Anda perlukan.

  5. Terakhir, untuk mengendalikan ukuran dan biaya log, Anda membutuhkan strategi holistik untuk siklus hidup dan pengarsipan data.

Dimana saya harus menyimpan data log?

Amazon OpenSearch Service menyediakan berbagai tingkat penyimpanan untuk data log Anda. Anda dapat memilih tingkat penyimpanan yang sesuai dengan persyaratan kueri Anda (Hot, UltraWarm, dan Cold Storage).

Apa yang ditawarkan AWS untuk analitik log?

Lakukan deployment dan kelola dengan mudah

Amazon OpenSearch Service mempermudah dalam menyiapkan dan melakukan deployment klaster Anda, sekaligus menghilangkan kerumitan yang terkait dengan tugas manajemen, seperti penyediaan perangkat keras, pemasangan dan penambalan perangkat lunak, pemulihan kegagalan, pencadangan, dan pemantauan, serta memungkinkan Anda mengurangi biaya tambahan operasional dan fokus pada kebutuhan bisnis inti.

Dapatkan skala dan keandalan

Dengan penyimpanan instans hingga 3 PB dalam satu domain, Amazon OpenSearch Service memungkinkan Anda menambah atau menghapus instans dengan mudah tanpa waktu henti. Layanan ini juga menawarkan enkripsi bawaan saat istirahat dan dalam perjalanan, autentikasi pengguna, dan dukungan VPC, serta memungkinkan Anda untuk menjaga keamanan data.

Integrasikan dengan layanan AWS lainnya secara mudah

Amazon OpenSearch Service menawarkan integrasi bawaan dengan layanan AWS lainnya seperti Kinesis Data Firehose, Streaming Terkelola untuk Kafka, IoT, CloudWatch Logs, KMS, Cognito, dan IAM, sehingga Anda dapat menyerap, menganalisis, dan memvisualisasikan data dengan aman dari semua sumber.

Turunkan biaya Anda

Dengan Amazon OpenSearch Service, Anda hanya perlu membayar sesuai dengan layanan yang digunakan. Tidak ada biaya di muka atau persyaratan penggunaan. Dengan pemantauan dan dukungan AWS selama 7x24 jam, Anda tidak memerlukan tim ahli Elasticsearch untuk menskalakan, mengamankan, dan memantau infrastruktur Anda, yang menyebabkan biaya total operasional menjadi lebih rendah.

Bagaimana cara kerja analitik log dengan AWS?

Dengan AWS, Anda dapat membuat berbagai solusi untuk mengonsolidasi, memantau, dan menganalisis data log secara efektif. Solusi ini memberikan tampilan yang efisien dari aplikasi, sistem, dan informasi log AWS Anda untuk kecerdasan operasional secara langsung.

Pencatatan terpusat menggunakan Amazon OpenSearch Service

Dipadukan dengan layanan AWS lain, solusi yang didukung Amazon OpenSearch Service ini memberi Anda lingkungan turnkey yang tersedia dengan sangat baik untuk memulai mencatat dan menganalisis lingkungan dan aplikasi AWS Anda dengan cepat. Mulai Amazon OpenSearch Service »

Diagram di bawah ini menunjukkan arsitektur pencatatan terpusat. Untuk mempelajari selengkapnya, baca ringkasan solusi pencatatan terpusat 

analitik log opensearch

Pemantauan secara langsung menggunakan Amazon Kinesis

Menggunakan Amazon Kinesis bersamaan dengan AWS CloudTrail dan Amazon CloudWatch, solusi ini memungkinkan Anda untuk membuat solusi nirserver untuk memantau aplikasi Anda secara langsung. Mulai Amazon Kinesis »

Diagram di bawah ini menunjukkan arsitektur pemantauan aplikasi secara langsung. Untuk mempelajari selengkapnya, ikuti tutorial praktis ini.

Bagaimana cara pelanggan mengimplementasikan analitik log?

Pemantauan aplikasi dan infrastruktur secara langsung

Tangkap dan pusatkan semua log serta metrik dari aplikasi dan silo IT Anda untuk mendapatkan visibilitas mendalam ke tumpukan aplikasi dan infrastruktur Anda, serta memastikan waktu kerja. Amazon OpenSearch Service mengindeks data, membuatnya tersedia untuk analisis secara langsung, dan memungkinkan Anda memvisualisasikan metrik performa secara langsung menggunakan dasbor Kibana.

Expedia Group, salah satu perusahaan perjalanan terkemuka di dunia, menggunakan Amazon OpenSearch Service untuk pemantauan aplikasi. Amazon OpenSearch Service memungkinkan Expedia untuk memantau volume yang sangat besar dari log Docker dengan biaya rendah, mengidentifikasi dan menyelesaikan masalah secara langsung, menskalakan dengan mudah untuk mengakomodasi sumber log tambahan, serta menurunkan biaya tambahan operasional.  Pelajari selengkapnya »

Analisis akar penyebab

Identifikasi masalah dengan cepat di seluruh lingkungan Anda (server, kode) untuk mengurangi waktu rata-rata untuk identifikasi (MTTI) dan waktu rata-rata untuk pemecahan (MTTR). Dengan Kibana bawaan, Amazon OpenSearch Service memungkinkan Anda menelusuri jutaan peristiwa dan menghubungkan seluruh aplikasi dan infrastruktur Anda untuk mendiagnosis akar penyebab masalah dengan cepat, serta meningkatkan waktu kerja.

Autodesk, penyedia perangkat lunak desain dan rekayasa 3D terkemuka, menggunakan layanan AWS termasuk Amazon OpenSearch Service, Amazon Kinesis Data Firehose, dan Amazon Kinesis Data Analytics untuk membangun solusi logging terpadu yang hemat biaya guna menemukan dan memperbaiki masalah aplikasi lebih cepat, serta meningkatkan pengalaman pelanggan.  Pelajari selengkapnya »

Analitik clickstream

Dapatkan tampilan secara langsung dari performa konten web Anda, dan interaksi pengguna dengan aplikasi dan situs web Anda yang meliputi perilaku pengguna, jumlah waktu yang dihabiskan, konten populer, dan masih banyak lagi. Dengan menggunakan Amazon OpenSearch Service dan Amazon Kinesis Data Firehose atau Amazon Managed Streaming for Kafka, Anda dapat menggabungkan dan menganalisis log clickstream dengan mudah untuk mendapatkan pemahaman yang lebih mendalam mengenai pelanggan Anda.

Hearst Corporation, sebuah perusahaan media raksasa, membangun platform analitik clickstream menggunakan Amazon OpenSearch Service, Amazon Kinesis Streams, dan Amazon Kinesis Firehose untuk mengirimkan dan memproses 30 terabita data per hari. Dengan platform ini, Hearst dapat membuat seluruh aliran data—dari klik situs web hingga data yang teragregasi—tersedia bagi editor hanya dalam hitungan menit.  Pelajari selengkapnya »

Kecerdasan keamanan dan pengelolaan peristiwa (SIEM)

Pusatkan dan analisis peristiwa yang dihasilkan di seluruh lingkungan Anda termasuk aplikasi, jaringan, dan sistem operasi untuk mengidentifikasi aktivitas berbahaya atau mencurigakan di jaringan Anda. Amazon OpenSearch Service memungkinkan Anda untuk mengindeks data sesegera mungkin setelah layanan ini diserap. Hal ini memungkinkan Anda untuk menganalisis data dari berbagai sumber secara instan, serta mencari dan mencegah ancaman dengan lebih cepat.

Langkah analitik log AWS berikutnya

Lihat sumber daya yang direkomendasikan ini: 

  1. Mulai uji coba Amazon OpenSearch Service gratis Anda
  2. Ikuti lokakarya mengenai Cara membangun solusi analitik log
  3. Anda juga dapat memulai secara gratis menggunakan Amazon OpenSearch Service tingkat gratis. Gunakan hingga 750 jam per bulan pada instans t2 dan t3 small.search dengan AWS Tingkat Gratis.

Langkah berikutnya di AWS

Lihat sumber daya tambahan terkait produk
Pelajari selengkapnya tentang AWS OpenSearch 
Daftar untuk akun gratis

Dapatkan akses secara instan ke AWS Tingkat Gratis.

Daftar 
Mulai membangun di konsol

Mulai membangun di Konsol Manajemen AWS.

Masuk