ما المقصود بمكدس ELK؟
مجموعة ELK هو اختصار يُستخدم لوصف مجموعة تتكون من ثلاثة مشروعات شائعة: Elasticsearch وLogstash وKibana. غالبًا ما يشار إلى مكدس ELK باسم Elasticsearch، وهو يمنحك القدرة على تجميع السجلات من كل الأنظمة والتطبيقات الخاصة بك، وتحليل هذه السجلات، وإنشاء تصورات لمراقبة التطبيقات والبنية الأساسية، واستكشاف الأخطاء وإصلاحها بشكل أسرع، وإجراء تحليلات الأمان، وأكثر من ذلك.
E = Elasticsearch
Elasticsearch عبارة عن محرك بحث وتحليلات موزع تم إنشاؤه على Apache Lucene. بفضل دعم لغات مختلفة والأداء العالي ووثائق JSON الخالية من المخططات، يُعد Elasticsearch خيارًا مثاليًا لتحليلات السجلات المتنوعة وحالات استخدام البحث.
لمزيد من المعلومات، راجع ما المقصود بـ Elasticsearch؟
في 21 يناير / كانون الثاني 2021، أعلنت شركة Elastic NV أنها ستغير إستراتيجية ترخيص برامجها ولن تطلق إصدارات جديدة من Elasticsearch وKibana بموجب ترخيص Apache المسموح به، ترخيص الإصدار 2.0 (ALv2). بدلاً من ذلك، سيتم تقديم إصدارات جديدة من البرنامج بموجب ترخيص Elastic، مع إتاحة التعليمات البرمجية المصدر بموجب ترخيص Elastic أو SSPL. هذه التراخيص ليست مفتوحة المصدر، ولا تقدم للمستخدمين الإمكانات الحرة نفسها. للحصول على مجموعة تحليلات وبحث آمنة وعالية الجودة ومفتوحة المصدر بالكامل، يمكنك استخدام مشروع OpenSearch، وهو عبارة عن نسخة قائمة على المجتمع ومرخصة من ALv2 تتضمن Elasticsearch وKibana مفتوحَي المصدر.
L = Logstash
Logstash هي أداة استيعاب بيانات مفتوحة المصدر تتيح لك جمع البيانات من مجموعة متنوعة من المصادر وتحويلها وإرسالها إلى الوجهة التي تريدها. بفضل عوامل التصفية المعّدة مسبقًا ودعم أكثر من 200 مكون إضافي، فإن Logstash تتيح للمستخدمين استيعاب البيانات بسهولة بغض النظر عن مصدر البيانات أو نوعها.
Logstash هي عبارة عن مسار معالجة بيانات خفيف الوزن ومفتوح المصدر من جانب الخادم يسمح لك بجمع البيانات من مجموعة متنوعة من المصادر وتحويلها سريعًا وإرسالها إلى وجهتك المرغوبة. غالبًا ما يتم استخدامه كخط أنابيب بيانات لـ Elasticsearch، وهو محرك بحث وتحليلات مفتوح المصدر. نظرًا إلى تكاملها القوي مع Elasticsearch وإمكانيات معالجة السجل القوية وأكثر من 200 برنامج إضافي مفتوح المصدر مُنشأ مسبقًا يمكن أن يساعدك في فهرسة بياناتك بسهولة، تُعد Logstash خيارًا شائعًا لتحميل البيانات في Elasticsearch.
تحميل البيانات غير المهيكلة بسهولة
تسمح لك Logstash باستيعاب البيانات غير المهيكلة بسهولة من مجموعة متنوعة من مصادر البيانات بما في ذلك سجلات النظام، وسجلات مواقع الويب، وسجلات خادم التطبيق.
عوامل التصفية مسبقة الإعداد
توفر Logstash عوامل تصفية مُعدَّة مسبقًا، بحيث يمكنك بسهولة تحويل أنواع البيانات الشائعة وفهرستها في Elasticsearch والبدء في الاستفسار بدون الحاجة إلى إنشاء مسارات مخصصة لتحويل البيانات.
هندسة المكونات الإضافية المرنة
مع وجود أكثر من 200 مكون إضافي متاح بالفعل على Github، من المحتمل أن يكون شخص ما قد أنشأ بالفعل المكون الإضافي الذي تحتاج إليه لتخصيص مسار بياناتك. ولكن في حالة عدم توفر واحدة تناسب متطلباتك، يمكنك بسهولة إنشاء واحدة بنفسك.
K = Kibana
Kibana هي أداة لمؤثرات عرض البيانات واستكشافها تستخدم لتحليلات السلاسل الزمنية والسجلات، ومراقبة التطبيقات، وحالات استخدام الذكاء التشغيلي. توفر ميزات قوية وسهلة الاستخدام مثل المدرجات التكرارية والرسوم الخطية والمخططات الدائرية وخرائط الحرارة والدعم الجغرافي المكاني المدمج. وتوفر أيضًا تكاملًا قويًّا مع Elasticsearch، وهو محرك تحليلات وبحث شائع يجعل من Kibana الاختيار الافتراضي لتصور البيانات المخزنة في Elasticsearch.
في 21 يناير / كانون الثاني 2021، أعلنت شركة Elastic NV أنها ستغير إستراتيجية ترخيص برامجها ولن تطلق إصدارات جديدة من Elasticsearch وKibana بموجب ترخيص Apache المسموح به، ترخيص الإصدار 2.0 (ALv2). بدلاً من ذلك، سيتم تقديم إصدارات جديدة من البرنامج بموجب ترخيص Elastic، مع إتاحة التعليمات البرمجية المصدر بموجب ترخيص Elastic أو SSPL. هذه التراخيص ليست مفتوحة المصدر، ولا تقدم للمستخدمين الإمكانات الحرة نفسها. لضمان استدامة تمتُّع كل من مجتمع المصادر المفتوحة وعملائنا بمجموعة بحث وتحليلات آمنة وعالية الجودة وذات مصدر مفتوح بالكامل، قدمنا مشروع OpenSearch، وهو عبارة عن خدمة مرخصة من ALv2 ومدفوعة من المجتمع ومتفرعة من Elasticsearch وKibana ذوي المصدر المفتوح. تتكون مجموعة OpenSearch من محرك بحث، وOpenSearch، وعرض مرئي وواجهة مستخدم، OpenSearch Dashboards.
يمكنك تشغيل Kibana محليًا أو على سحابة الحوسبة المرنة من Amazon (Amazon EC2) أو على إصدارات Apache 2.0 المرخصة (حتى الإصدار 7.10.2) من خدمة Amazon OpenSearch. تُعد OpenSearch Dashboards بديلًا مفتوح المصدر لـ Kibana، وهي متاحة أيضًا للإدارة الذاتية. تم اشتقاقها من آخر إصدار مفتوح المصدر من Kibana (7.10.2). تحتوي على العديد من التطورات ويتم دعمها جيدًا من خلال مشروع OpenSearch. مع عمليات التعيين في البرامج المحلية أو Amazon EC2، فأنت مسؤول عن توفير البنية التحتية، وتثبيت برنامج Kibana أو OpenSearch Dashboards، وإدارة البنية الأساسية. باستخدام خدمة OpenSearch، يتم نشر لوحات معلومات Kibana أو OpenSearch تلقائيًا مع نطاقك كخدمة مُدارة بالكامل، مع الاهتمام تلقائيًا بجميع المهام الثقيلة لإدارة المجموعة.
المخططات التفاعلية
توفر Kibana مخططات وتقارير سهلة الاستخدام يمكنك استخدامها للتنقل بشكل تفاعلي عبر كميات كبيرة من بيانات السجل. يمكنك سحب النوافذ الزمنية ديناميكيًا، وتكبير وتصغير مجموعات فرعية معينة من البيانات، والتنقل لأسفل في التقارير لاستخراج معارف دقيقة قابلة للتنفيذ من بياناتك.
دعم رسم الخرائط
تأتي Kibana بقدرات جغرافية مكانية قوية حتى تتمكن من وضع طبقة في المعلومات الجغرافية أعلى البيانات الخاصة بك وعرض النتائج على الخرائط بسلاسة.
التجميعات والفلاتر المُنشأة مسبقًا
باستخدام التجميعات والفلاتر المُنشأة مسبقًا من Kibana، يمكنك تشغيل تحليلات متنوعة مثل المدرجات التكرارية والاستفسارات الأحدث والاتجاهات بنقرات قليلة فقط.
لوحات معلومات يسهل الوصول إليها
يمكنك بسهولة إعداد لوحات المعلومات والتقارير ومشاركتها مع الآخرين. لا تحتاج سوى متصفح لعرض البيانات واستكشافها.
كيف يعمل مكدس ELK؟
- يستوعب Logstash البيانات ويحولها ويرسلها إلى الوجهة الصحيحة.
- ويفهرس Elasticsearch البيانات المستوعبة ويحللها ويبحث فيها.
- يقدم Kibana عرضًا مرئيًا لنتائج التحليل.
ماذا يفعل مكدس ELK؟
يتم استخدام مجموعة ELK لحل مجموعة واسعة من المشكلات، بما في ذلك تحليلات السجلات والبحث عن المستندات ومعلومات الأمان وإدارة الأحداث (SIEM) وإمكانية الملاحظة. يوفر محرك البحث والتحليلات واستيعاب البيانات والتصور.
لماذا يحظى مكدس ELK بأهمية؟
تلبي مجموعة ELK الحاجة إلى مساحة تحليلات السجلات. مع انتقال المزيد والمزيد من البنية التحتية لتكنولوجيا المعلومات لديك إلى السحابات العامة، فأنت بحاجة إلى حل لإدارة السجلات والتحليلات لمراقبة هذه البنية التحتية ومعالجة أي سجلات للخادم وسجلات التطبيقات ومسارات النقر. وتوفر مجموعة ELK حلاً بسيطًا لكنه قوي لتحليل السجلات من أجل المطورين ومهندسي DevOps لديك للحصول على رؤى مهمة حول تشخيص الأعطال وأداء التطبيقات ومراقبة البنية التحتية بسعر زهيد.
كيف يمكنني اختيار الحل المناسب لمكدس ELK؟
في AWS، يمكنك اختيار نشر مجموعة ELK وإدارتها بنفسك على EC2. لكن التوسع والتقليص لتلبية متطلبات أعمالك، أو تحقيق الأمان والامتثال يمثلان تحديًا في إطار خيار الإدارة الذاتية. إذا كنت تفضل أن يقضي المطورون أو مهندسو DevOps وقتهم في إنشاء تطبيقات مبتكرة أو إدارة المهام التشغيلية مثل النشر والترقيات وتثبيت البرامج وتصحيحها والنسخ الاحتياطية والمراقبة، فإن OpenSearch Service عبارة عن بديل مفتوح المصدر مُدار بالكامل يجعل من السهل نشر مجموعات OpenSearch وتشغيلها وتوسيع نطاقها بأمان وفعالية من حيث التكلفة على AWS.
ما هي عروض AWS التي تدعم مجموعة ELK الخاصة بك؟
تدعم خدمة OpenSearch العديد من إصدارات Elasticsearch المرخصة من Apache 2.0 (الإصدارات من 1.5 إلى 7.10)، وKibana (الإصدارات من 1.5 إلى 7.10). تدعم خدمة OpenSearch أيضًا التكامل مع Logstash لجمع البيانات وتحويلها من مصادرك، ثم تقوم بتحميلها إلى الخدمة.
ما أدوات الاستيعاب التي تقدمها AWS؟
تمتلك AWS العديد من أدوات استيعاب البيانات مثل Amazon Kinesis Data Firehose وسجلات Amazon CloudWatch وAWS IoT لتمنحك المرونة لتحديد أداة استيعاب البيانات التي تلبي متطلبات حالة الاستخدام الخاصة بك. لمعرفة المزيد، راجع عمليات تكامل خدمة Amazon OpenSearch.
تتضمن مجموعة OpenSearch رمز Elasticsearch معينًا مرخصًا من Apache من إنشاء شركة Elasticsearch B.V، وتعليمة برمجية مصدر أخرى. Elasticsearch B.V. ليس مصدر رمز المصدر الآخر. يُعد ELASTICSEARCH علامة تجارية مسجلة لشركة Elasticsearch B.V.
الخطوات مع AWS
ابدأ في الإنشاء باستخدام سحابة AWS مختلطة في وحدة إدارة تحكّم AWS.