قم ببناء مسارات البث من البداية إلى النهاية باستخدام مخططات خدمة Amazon المُدارة لـ Apache Flink بنقرة واحدة. تعرّف على المزيد.
تعمل خدمة Amazon المُدارة لـ Apache Flink على تسهيل إنشاء تطبيقات معالجة البث في الوقت الفعلي وتشغيلها باستخدام Apache Flink. تقوم خدمة Amazon المُدارة لـ Apache Flink بتوفير وتكوين مجموعات Flink الخاصة بك وتنسيق إدارة مهام Flink. يقوم بإعداد المراقبة والإنذار، ويوفر التحجيم التلقائي، وتم تصميمه للتوافر العالي (بما في ذلك تجاوز الفشل لمنطقة التوافر). توفر الخدمة إمكانية الوصول إلى واجهات برمجة التطبيقات التعبيرية لـ Apache Flink، ومن خلال خدمة Amazon المُدارة لـ Apache Flink Studio، يمكنك الاستعلام بشكل تفاعلي عن تدفقات البيانات أو تشغيل تطبيقات ذات حالة في خطوات قليلة فقط. باستخدام هذه الخدمة المُدارة، يمكنك البدء باستخدام Apache Flink ونشر تطبيقات معالجة تدفق البيانات وتشغيلها بسرعة.
مع خدمة Amazon المُدارة لـ Apache Flink، يمكنك الوصول إلى مجموعة كاملة من إمكانيات Apache Flink الرائدة في المجال، بما في ذلك معالجة البيانات بزمن انتقال منخفض ومعدل نقل عالي، والمعالجة مرة واحدة بالضبط، وحالة التطبيق الدائمة. باستخدام خدمة Amazon المُدارة لـ Apache Flink، يمكنك نشر تطبيقات آمنة ومتوافقة ومتوفرة للغاية. تقوم خدمة Amazon المُدارة لـ Apache Flink بتكرار البيانات وأعباء العمل بسهولة عبر مناطق التوافر المتعددة، مما يضمن الأداء والموثوقية دون انقطاع، ودون الحاجة إلى الدفع مقابل زيادة السعة.
أصبح تطوير التطبيقات أسهل مع خدمة Amazon المُدارة لـ Apache Flink لأن الخدمة تدعم واجهات برمجة تطبيقات Flink المرنة بلغات Java و Scala و Python و SQL. تتكامل خدمة Amazon المُدارة لـ Apache Flink مع مئات مصادر البيانات والوجهات، مثل Amazon Managed Streaming for Apache Kafka (Amazon MSK)، وتدفق بيانات Amazon Kinesis، وAmazon Kinesis Data Firehose، وخدمة التخزين البسيطة في Amazon (Amazon S3)، وAmazon DynamoDB، وموصلات JDBC، والموصلات المخصصة.
تطبيقات معالجة التدفق باستخدام Apache Flink
المصدر المفتوح
تتضمن خدمة Amazon المُدارة لـ Apache Flink مكتبات مفتوحة المصدر مثل Apache Flink، وApache Beam، وApache Zeppelin، وAWS SDK، وعمليات تكامل خدمات AWS. Apache Flink هو إطار مفتوح المصدر ومحرك لإنشاء تطبيقات بث عالية التوافر ودقيقة. Apache Beam هو نموذج موحد لتحديد تطبيقات البث ومعالجة البيانات المجمعة التي يتم تشغيلها عبر محركات تشغيل متعددة. تساعد حزم AWS SDK على التخلص من التعقيد في الترميز للعديد من خدمات AWS من خلال توفير واجهات برمجة التطبيقات بلغتك المفضلة، وهي تشمل مكتبات AWS وعينات التعليمات البرمجية والوثائق.
واجهات برمجة التطبيقات المرنة
تدعم خدمة Amazon المُدارة لـ Apache Flink واجهات برمجة تطبيقات Flink المرنة في Java وScala وPython وSQL المتخصصة في حالات الاستخدام المختلفة بما في ذلك معالجة الأحداث ذات الحالة وتدفق ETL (الاستخراج والتحويل والتحميل) والتحليلات في الوقت الفعلي. باستخدام عوامل التشغيل التي تم إنشاؤها مسبقًا وإمكانيات التحليلات، يمكنك إنشاء تطبيق بث Apache Flink في ساعات بدلاً من أشهر، والمكتبات قابلة للتوسيع، بحيث يمكنك إجراء معالجة في الوقت الفعلي لحالات الاستخدام المختلفة.
عمليات تكامل خدمات AWS
يمكنك إعداد ودمج مصدر بيانات أو وجهة باستخدام تعليمات برمجية قليلة للغاية. استخدم خدمة Amazon المُدارة لـ Apache Flink للتكامل مع خدمات AWS التالية:
إمكانات تكامل متقدّمة
بالإضافة إلى عمليات تكامل AWS، تشتمل مكتبات خدمة Amazon المُدارة لـ Apache Flink على أكثر من 40 من موصلات Apache Flink والقدرة على إنشاء عمليات تكامل مخصصة. باستخدام بضعة أسطر أخرى من التعليمات البرمجية، يمكنك تعديل آلية عمل كل عملية تكامل باستخدام الوظائف المتقدمة. كما يمكنك إنشاء عمليات تكامل مخصصة باستخدام مجموعة من الأنواع الأساسية لـ Apache Flink بحيث يمكنك القراءة والكتابة استنادًا إلى الملفات أو الأدلة أو المآخذ أو المصادر الأخرى التي يتم الوصول إليها على الإنترنت.
معالجة مرة واحدة بالضبط
باستخدام خدمة Amazon المُدارة لـ Apache Flink، يمكنك إنشاء تطبيقات تؤثر فيها السجلات المعالجة على النتائج مرة واحدة بالضبط، ويشار إليها باسم المعالجة لمرة واحدة بالضبط. حتى في حالة تعطل التطبيق، لأسباب منها مثلًا صيانة الخدمة الداخلية أو تحديث للتطبيق بدأه المستخدم، تضمن الخدمة معالجة جميع البيانات وعدم وجود بيانات مكررة.
معالجة الحالة
تخزّن الخدمة العمليات الحسابية السابقة والجارية، أو الحالة، في مخزن تطبيقات قيد التشغيل. قارِن النتائج في الوقت الفعلي والنتائج السابقة على مدار أي فترة زمنية وتمكَّن من التعافي بسرعة أثناء تعطّل التطبيق. يتم دائمًا تشفير الحالة وحفظها بشكل متزايد في مخزن التطبيقات قيد التشغيل.
نسخ احتياطية دائمة للتطبيقات
يمكنك إنشاء نسخ احتياطية دائمة للتطبيق وحذفها من خلال استدعاء بسيط لواجهة برمجة التطبيقات. يمكنك استعادة تطبيقاتك فورًا من أحدث نسخة احتياطية بعد التعطيل، أو استعادة نسخة سابقة من التطبيق.
تكامل تعلم الآلة
تدعم خدمة Amazon المُدارة لـ Apache Flink خوارزميات تعلّم الآلة (ML). يمكنك إنشاء تطبيقات في الوقت الفعلي للتصنيف والتجميع والتقييم وتوصيات هندسة الميزات والتراجع والإحصاءات.
التوافق مع سجل مخطط AWS Glue
تتوافق خدمة Amazon المُدارة لـ Apache Flink مع سجل مخطط AWS Glue. يساعدك سجل المخطط على تحسين جودة البيانات والحماية من التغييرات غير المتوقعة باستخدام اختبارات التوافق التي تحكم تطور المخطط لمخططاتك على خدمة Amazon المُدارة لأعباء عمل خدمة Amazon المُدارة لـ Apache Flink المتصلة بـ Apache Kafka، أو Amazon MSK، أو تدفقات بيانات Amazon Kinesis، إما كمصدر أو موصل مخزن بيانات.
استوديو تحليلات بيانات Amazon Kinesis
فحص التدفق والعرض المرئي
يدعم استوديو تحليلات بيانات Kinesis الاستعلامات بجزء من الثانية مع عروض مرئية مدمجة. يمكنك إجراء استعلامات مخصصة لفحص تدفق البيانات بسرعة وعرض النتائج في ثوانٍ.
بيئة تطوير وتشغيل بسيطة
توفر دفاتر الملاحظات للاستوديو المذكور تجربة تطوير أحادية الواجهة لتطوير التعليمات البرمجية وتصحيحها وتشغيل تطبيقات معالجة التدفق.
العملية باستخدام SQL أو Python أو Scala
يدعم استوديو تحليلات بيانات Kinesis اللغات SQL وPython وScala في بيئة التطوير نفسها. يرشدك إبراز البناء اللغوي، والتحقق من الصحة، والاقتراحات التي تراعي السياق داخل دفتر الملاحظات للتفاعل مع بياناتك من خلال الدعم المدمج لإمكانيات Apache Flink المحددة.
تطوير تطبيقات معالجة التدفق السريع بلا خادم
لا توجد خوادم لتوفيرها أو إدارتها أو توسيع نطاقها. ما عليك سوى كتابة التعليمات البرمجية والدفع مقابل الموارد التي تستهلكها تطبيقاتك. يمكنك بسهولة نشر تعليماتك البرمجية الواردة في دفتر الملاحظات إلى تطبيق معالجة التدفق الذي يعمل باستمرار مع التكيّف التلقائي والحالة التي تدوم.
مفتوحة المصدر
يعمل استوديو تحليلات بيانات Kinesis على تطبيقات Apache Flink المستخدمة في الإنتاج ويشغّلها، وتوفر دفاتر Apache Zeppelin تجربة مألوفة وسهلة لكتابة تعليمات برمجية لتطبيقات التدفق بلغة تختارها.
التكامل مع كتالوج بيانات AWS Glue
يعد كتالوج بيانات AWS Glue مخزنًا ثابتًا للبيانات الوصفية يعمل كمستودع مركزي يحتوي على تعريفات الجدول. يمكنك استخدام كتالوج بيانات AWS Glue للاكتشاف والبحث في مجموعات بيانات AWS المتعددة بدون نقل البيانات. يتوافق استوديو تحليلات بيانات Kinesis مع كتالوج بيانات AWS Glue، فيتيح لك تحديد مخطط جداول المصدر والوجهة.
بدء استخدام تحليلات بيانات Amazon Kinesis
تعرَّف على كيفية استخدام تحليلات بيانات Amazon Kinesis في دليل الاستخدام الذي يشمل خطوت مفصّلة لأي من SQL أو Apache Flink.
