Pengelolaan dan strategi analisis log komprehensif adalah misi yang sangat penting, yang memungkinkan oganisasi memahami hubungan antara kejadian operasional, keamanan, dan manajemen perubahan serta menjaga pemahaman yang komprehensif terhadap infrastruktur mereka. Pelanggan AWS memiliki akses ke metrik layanan khusus dan file log untuk mendapatkan pemahaman mengenai cara beroperasi masing-masing layanan AWS, dan banyak layanan menangkap data tambahan, seperti panggilan API, perubahan konfigurasi, dan aktivitas penagihan. File log dari layanan web, aplikasi, dan sistem operasi juga menyediakan data yang bermanfaat, meskipun dalam format berbeda, serta dengan cara acak dan terdistribusi. Untuk menggabungkan, mengelola, dan menganalisis log yang berbeda ini secara efektif, banyak pelanggan AWS yang memilih untuk mengimplementasikan solusi logging terpusat menggunakan peralatan yang dikelola sendiri atau penawaran AWS Partner Network (APN). Solusi tersebut memberikan tampilan yang sederhana pada aplikasi, sistem, dan informasi log AWS dalam mengupayakan keunggulan operasional.

Halaman web ini memberikan praktik terbaik tingkat tinggi untuk pengelolaan log serta informasi dan pertimbangan untuk memilih solusi logging terpusat menggunakan layanan AWS atau penawaran pihak ketiga. Solusi ini juga memperkenalkan solusi AWS untuk logging dan visualisasi data terpusat menggunakan layanan terkelola AWS.

Bagian berikut mengasumsikan pengetahuan dasar tentang Amazon Elastic Compute Cloud (Amazon EC2), Amazon Simple Storage Service (Amazon S3), Amazon CloudWatch (CloudWatch), Amazon Elasticsearch Service (Amazon ES), serta pemahaman umum mengenai logging aplikasi dan sistem.

  • Rangkuman Solusi

    Saat merencanakan strategi pengelolaan log terpusat, identifikasi pesyaratan bisnis dan kepatuhan pertama, seperti pemantauan log dan proses tinjauan, granularitas kontrol akses, dan persyaratan agregasi log, peringatan, pelaporan, dan retensi. Cari solusi yang dapat diskalakan dan dapat mendukung jenis log baru seiring Anda memperluas penggunaan layanan AWS dan teknologi cloud. Pertimbangkan praktik terbaik tambahan ini untuk menerapkan solusi pengelolaan log:

    • Tentukan persyaratan retensi log dan kebijakan siklus aktif terlebih dahulu, dan rencanakan untuk memindahkan file log ke lokasi penyimpanan yang hemat biaya sesaat setelah praktik.
    • Gabungkan peralatan dan fitur yang mengotomatiskan pemberlakuan kebijakan siklus aktif. Sebagai contoh, Amazon Simple Storage Service (Amazon S3) adalah lokasi penyimpanan log hemat biaya yang mencakup kemampuan siklus aktif bawaan, yang memungkinkan pelanggan menghentikan log secara otomatis ke tingkat penyimpanan yang lebih murah (Amazon S3 Standard – Akses Jarang, Amazon Glacier) jika diperlukan.
    • Sebelum mengimplementasikan solusi yang dibuat secara kustom, seperti kumpulan ELK sumber terbuka yang menjalankan Elasticsearch, Logstash, dan Kibana di server lokal, pertimbangkan tugas, biaya, dan dependensi tambahan terkait dengan pengelolaan dan pemeliharaan komponennya. Asitektur kustom dapat menawarkan fleksibilitas desain, tetapi layanan dan peralatan terkelola dapat mengurangi kompleksitas operasional secara signifikan.
    • Otomatiskan instalasi dan konfigurasi agen pengiriman log untuk menangkap log sistem dan aplikasi secara konsisten dan dukung penskalaan instans Amazon EC2 yang dinamis. Gunakan skrip data pengguna Amazon EC2 atau perangkat lunak pengelolaan konfigurasi untuk menjalankan tugas ini. Atau, sertakan agen sebagai bagian dari Amazon Machine Image (AMI)
    • Organisasi yang mengoperasikan arsitektur hybrid harus memilih solusi yang terintegrasi dengan beban kerja di lokasi dan AWS. Baik Anda memilih untuk menggabungkan log AWS dan di lokasi ataupun untuk mengelolanya secara terpisah, terapkan solusi pengelolaan log yang memberikan visibilitas yang Anda perlukan di seluruh lingkungan pengoperasian.

    AWS Cloud menyediakan infrastruktur dan alat yang fleksibel untuk mendukung penawaran partner yang canggih dan solusi logging terpusat yang dikelola sendiri. Umumnya, skala layanan yang akan dipantau serta pengalaman, anggaran, persyaratan bisnis, dan preferensi kelengkapan dan kemulusan yang dimiliki suatu organisasi akan menentukan pendekatan mana yang paling tepat. Bagian berikut menguraikan beberapa produk pihak ketiga untuk pengelolaan log serta layanan utama AWS dan teknologi sumber terbuka untuk disertakan dalam solusi logging terpusat yang dikelola sendiri.

    AWS Partner Network menawarkan beragam solusi pengelolaan log komprehensif yang dapat membantu memudahkan organisasi dengan ukuran atau tahap perkembangan apa pun untuk mengelola, menganalisis, menyimpan, dan mengarsipkan log. Pada saat memilih produk pihak ketiga, cari solusi yang mudah dikonfigurasi, termasuk metode yang fleksibel untuk penyerapan data, dan menggabungkan fungsionalitas pada saat pencarian, pemantauan, peringatan, dan visualisasi data (misalnya dasbor data real-time). Pendekatan ini mungkin tepat bagi pelanggan pada situasi berikut:

    • Pelanggan memiliki alat partner yang sudah ada sebagai pengganti untuk mengelola log di lokasi dan ingin memperluas solusinya untuk menggabungkan log dari sumber daya cloud. Organisasi yang telah memanfaatkan teknologi partner populer dapat dengan mudah menggabungkan data log di lokasi dan cloud untuk memvisualisasikan kinerja aplikasi hybrid pada antarmuka pengguna tunggal.
    • Pelanggan memiliki persyaratan peringatan atau pelaporan tingkat lanjut tetapi tidak memiliki pengembangan dan sumber daya administrasi sistem khusus untuk membuat atau mengelola kemampuan ini.
    • Pelanggan memiliki persyaratan enkripsi, pengelolaan pengguna, keamanan, atau skalabilitas yang saat ini tidak dapat dipenuhi oleh Amazon ES dan Kibana.
      Sebagai contoh, beberapa solusi partner dirancang untuk memenuhi persyaratan keamanan seperti enkripsi data log yang tidak digunakan atau isolasi jaringan ke VPC tunggal. Solusi ini dapat menjadi opsi yang paling efisien bagi pelanggan yang mengelola informasi pribadi atau kesehatan yang terlindungi dan pelanggan yang harus mematuhi standar PCI dan HIPAA.

    Lihat tab Penawaran Partner untuk daftar produk partner populer.

    Banyak pelanggan memilih untuk membuat solusi logging terpusat mereka sendiri menggunakan layanan terkelola AWS. Cara ini bisa menjadi cara yang hemat biaya dan dapat diskalakan untuk membantu organisasi memenuhi kebutuhan pengelolaan log mereka. Desain tanpa server selanjutnya dapat mengurangi overhead yang terkait dengan pengelolaan komponen solusi individu. Bagian ini memperkenalkan layanan AWS yang umumnya digunakan dalam arsitektur pengelolaan log.

    Lihat tab Solusi AWS untuk solusi logging terpusat yang ditetapkan yang dapat diterapkan oleh pelanggan hanya dalam hitungan menit menggunakan AWS CloudFormation. Solusi otomatis ini menggunakan layanan AWS native dan peralatan sumber terbuka untuk menangkap, menggabungkan, dan memvisulisasikan data log.

    Elasticsearch adalah mesin pencarian dan analisis sumber terbuka populer dari Elastic yang memberikan waktu singkat untuk menilai dan sangat didukung dengan komunitas sumber terbuka yang kondusif. AWS menawarkan Amazon Elasticsearch Service (Amazon ES) sebagai layanan terkelola yang memudahkan penerapan dan pengoperasian Elasticsearch di AWS Cloud. Amazon ES mengelola kapasitas, penskalaan, patching, dan administrasi klaster Elasticsearch seraya memberikan akses langsung ke API Elasticsearch. Layanan ini terintegrasi dengan CloudWatch Logs, sehingga tidak ada persyaratan tambahan untuk menulis kode untuk perpindahan atau transformasi data log.

    Amazon ES memberikan akses terintegrasi dan terkelola ke Kibana, plugin visualisasi data untuk Elasticsearch. Pelanggan dapat membuat berbagai diagram dan dasbor Kibana untuk volume data yang besar, serta dapat memuat dan menggunakan dasbor yang dikembangkan oleh Kibana dan komunitas pengguna AWS. Perlu diperhatikan bahwa Kibana tidak memberikan kontrol akses native dan harus diamankan dengan mekanisme tambahan, seperti proxy web Nginx (lihat Blog Keamanan AWS untuk informasi yang mendetail). Peralatan visualisasi dan pengelolaan log pihak ketiga mungkin lebih sesuai bagi pelanggan yang tidak dapat bekerja dalam batasan ini.

    Amazon CloudWatch Logs memungkinkan pelanggan memantau, menyimpan, dan mengakses file log dari instans Amazon EC2, AWS CloudTrail, dan sumber lainnya. Pelanggan dapat mengambil data log dari CloudWatch Logs menggunakan konsol Amazon CloudWatch, perintah CloudWatch Logs di AWS CLI, API CloudWatch Logs, atau SDK CloudWatch Logs. Agen CloudWatch Logs dapat dengan mudah diinstal dan dikonfigurasi di instans Linux dan Windows untuk mengirim file log aplikasi dan sistem ke CloudWatch. Menggunakan peran EC2 untuk memberi agen CloudWatch Logs izin yang diperlukan merupakan praktik paling tepat untuk dilakukan.

    Amazon CloudWatch juga dapat mengumpulkan metrik kinerja sistem secara terperinci dari instans EC2, serta menyediakan metrik tersebut ke dasbor dan pelanggan API seperti pemicu Amazon Simple Notification Service dan Auto Scaling.

    Pelanggan dapat berlangganan ke umpan kejadian CloudWatch Logs real-time yang dapat diproses dengan sendirinya menggunakan Amazon Kinesis dan AWS Lambda, atau mengirimkan secara langsung ke Amazon ES menggunakan fungsi Lambda yang disediakan oleh AWS yang menghubungkan CloudWatch Logs ke Amazon ES (lihat Pemrosesan Data Log secara Real-time dengan Langganan di Panduan Pengguna Amazon CloudWatch Logs).

    Pelanggan yang memiliki data log untuk diproses dalam jumlah besar dapat menggunakan Amazon Kinesis Firehose sebagai mekanisme penyerapan dan pengiriman log tanpa server. Amazon Kinesis Firehose adalah layanan terkelola yang memungkinkan pelanggan mengirimkan data streaming real-time ke tujuan seperti Amazon ES, Amazon S3, dan Amazon Redshift. Firehose dirancang untuk menangani jumlah data masuk berukuran besar dan dapat menghasilkan permintaan pengindeksan massal ke domain Amazon ES.

    Tidak seperti komponen pemrosesan log yang dikelola sendiri, seperti klaster Logstash, Firehose tidak memerlukan pengelolaan server, aplikasi, atau sumber daya apa pun. Pelanggan mengonfigurasi penghasil data individu untuk mengirimkan data log ke stream pengiriman Firehose secara berkelanjutan, dan Firehose mengelola yang lainnya.

    Banyak organisasi memilih untuk mengekspor data log dari CloudWatch Logs ke Amazon S3. Amazon S3 menawarkan kepada pengguna lokasi penyimpanan data log yang tahan lama dan sangat dapat diskalakan serta untuk menggabungkan file log untuk pemrosesan dan analisis kustom. Amazon S3 adalah pilihan terbaik untuk retensi jangka panjang dan pengarsipan data log, khususnya untuk organisasi dengan program kepatuhan yang memerlukan data log yang dapat diaudit dalam format aslinya.

    Ketika data log berada dalam bucket Amazon S3, tetapkan aturan siklus aktif untuk secara otomatis memberlakukan kebijakan retensi dan memindahkan objek ini ke kelas penyimpanan lain yang hemat biaya, seperti Amazon S3 Standar – Akses Jarang (Standar – IA) atau Amazon Glacier.

    Unduh Versi PDF Rangkuman Solusi ini
  • Solusi AWS

    AWS menawarkan solusi logging terpusat untuk mengumpulkan, menganalisis, dan menampilkan log di AWS pada berbagai akun dan Wilayah AWS. Solusi ini menggunakan Amazon Elasticsearch Service (Amazon ES), suatu layanan terkelola yang menyederhanakan penerapan, pengoperasian, dan penskalaan klaster Elasticsearch di AWS Cloud, serta Kibana, suatu platform analisis dan visualisasi yang terintegrasi dengan Amazon ES. Dalam kombinasi dengan layanan terkelola AWS lain, solusi ini menawarkan kepada pelanggan lingkungan multi-akun yang dapat disesuaikan untuk memulai logging dan menganalisis lingkungan dan aplikasi AWS mereka.

    Diagram di bawah ini menjelaskan arsitektur logging terpusat yang secara otomatis dapat Anda terapkan menggunakan panduan implementasi solusi beserta template AWS CloudFormation.

    1. Template utama meluncurkan domain Amazon ES, yang merupakan perangkat keras, perangkat lunak, dan data yang diekspos oleh titik akhir Amazon ES.
    2. Fungsi AWS Lambda kustom diterapkan untuk memuat data log dari Amazon CloudWatch ke domain Amazon ES, yang dikonfigurasikan dengan serangkaian dasbor Kibana default sebagai titik awal visualisasi data.
    3. Kumpulan pengguna Amazon Cognito memberikan autentikasi pengguna dasbor Kibana.
    4. Templat sekunder memungkinkan pelanggan mengindeks log dari akun dan wilayah sekunder pada domain Amazon ES di akun atau wilayah utama.
    5. Templat demo meluncurkan log sampel yang dapat digunakan oleh pelanggan untuk tujuan pengujian
    Menerapkan Solusi
    Panduan Implementasi

    Apa yang dapat Anda capai:

    Terapkan solusi logging terpusat menggunakan AWS CloudFormation. Template CloudFormation akan secara otomatis meluncurkan dan mengonfigurasi komponen yang diperlukan untuk mengunggah file log dari beberapa akun dan Wilayah AWS ke Amazon ES, untuk analisis dan visualisasi di dasbor yang dapat dikustomisasi dan ramah pengguna.

    Perluas kemampuan logging Anda melebihi log layanan AWS default. Solusi fleksibel ini mencakup contoh untuk mengambil file log tingkat host dan log aliran VPC, serta dirancang untuk menskalakan dengan pertumbuhan bisnis Anda.

    Kontrol akses ke dasbor Anda menggunakan Amazon Cognito untuk menyederhanakan autentikasi ke Amazon ES.

    Sederhanakan visualisasi data menggunakan dukungan Amazon ES bawaan untuk Kibana, termasuk rangkaian dasbor yang dikonfigurasi sebelumnya secara default, yang memberi Anda cuplikan kemampuan kustomisasi Kibana.

    Hal yang akan Anda perlukan sebelum memulai:

    Akun AWS: Anda memerlukan sebuah akun AWS untuk mulai menyediakan sumber daya. Mendaftar untuk membuat akun AWS.

    Tingkat keahlian: Solusi ini ditujukan bagi tenaga profesional infrastruktur TI dan jaringan yang memiliki pengalaman praktis dengan perancangan di AWS Cloud.

    T: Bekerja dengan sumber log apa solusi ini?

    Solusi ini menggunakan Amazon Cognito yang tersedia di Wilayah AWS tertentu saja. Oleh karena itu, Anda harus meluncurkan templat utama solusi ini di wilayah yang mendukung Cognito. Untuk ketersediaan layanan terbaru berdasarkan wilayah, lihat Penawaran layanan AWS berdasarkan wilayah. Templat komunikasi solusi dapat diterapkan di wilayah mana saja di akun sekunder. Setelah diterapkan, solusi akan memantau log untuk semua wilayah di akun yang berlaku.

    T: Format log apa yang didukung oleh solusi ini?

    Amazon VPC Flow Logs, AWS CloudTrail, AWS Lambda, Common Log Format, Space Delimited, JSON, log server web Apache, dan lainnya (ditentukan oleh pengguna).

    T: Apakah solusi dapat mengindeks log dari beberapa akun?

    Ya. Solusi ini mencakup template komunikasi yang dapat Anda terapkan pada akun sekunder untuk mengindeks log pada akun tersebut di domain Amazon ES akun primer.

    T: Apakah saya dapat menerapkan solusi logging terpusat di Wilayah AWS mana pun?

    Ya. Domain Amazon ES yang dibuat oleh solusi ini dapat menerima data log dari akun AWS dan Wilayah AWS lain. Anda dapat meluncurkan template komunikasi di wilayah lain untuk menggunakan solusi ini guna mengindeks log di seluruh wilayah.

  • Penawaran Partner

    Amazon Partner Network (APN) menawarkan beragam solusi pengelolaan log yang komprehensif untuk perusahaan dengan ukuran dan tahap perkembangan apa pun. Telusuri AWS Marketplace untuk daftar penawaran partner yang komprehensif, termasuk opsi populer dari partner berikut.

    splunk

    Perangkat lunak Splunk memungkinkan organisasi besar dan kecil mencari, memantau, menganalisis, dan memvisualisasi data yang berasal dari situs web, aplikasi, server, jaringan, sensor, dan perangkat seluler.
    Pelajari selengkapnya »

    sumologic

    Sumo Logic Log Management and Analytics memungkinkan perusahaan mengumpulkan, mengelola, dan menganalisis data log untuk meningkatkan pengelolaan dan pemantauan infrastruktur dan aplikasi mereka.
    Pelajari selengkapnya »

    datadog

    Datadog adalah layanan pemantauan yang mengubah metrik dan data kejadian yang dihasilkan oleh aplikasi, peralatan, dan layanan menjadi pengetahuan yang dapat ditindaklanjuti.
    Pelajari selengkapnya »

    elastic

    Dari perusahaan di balik Elasticsearch, Logstash, dan Kibana, Elastic Cloud adalah solusi Elasticsearch yang dikelola sepenuhnya yang berjalan di AWS Cloud, dan mencakup fitur keamanan, pemantauan, dan peringatan tingkat lanjut.
    Pelajari selengkapnya »

    loggly

    Loggly adalah solusi pengelolaan log berbasis cloud yang dirancang untuk sejumlah kasus penggunaan operasional, termasuk pemecahan masalah produksi, pemantauan dan peringatan, serta masih banyak lagi. Layanan ini menawarkan kemampuan pencarian, penyaringan, grafik, dan analisis yang komprehensif.
    Pelajari selengkapnya »

    logz.io

    Logz.io adalah platform analisis log cerdas yang menggabungkan ELK Stack sebagai layanan cloud dan machine learning canggih untuk memperoleh pengetahuan baru yang dapat ditindaklanjuti dari data yang dihasilkan oleh mesin.
    Pelajari selengkapnya »

Butuh lebih banyak sumber daya untuk mulai menggunakan AWS? Kunjungi Pusat Sumber Daya Memulai untuk menemukan tutorial, proyek, dan video untuk mulai menggunakan AWS.

Beri tahu opini Anda