Amazon EMR on EKS تدعم الآن عناصر التحكم في التزامن أثناء تشغيل المهام
تتيح لك Amazon EMR on EKS تشغيل أطر عمل البيانات الكبيرة مفتوحة المصدر مثل Apache Spark وFlink على مجموعات AWS EKS (Elastic Kubernetes Service). يمكنك إرسال الوظائف إلى مجموعة افتراضية، والتي ترتبط بمساحة اسم على مجموعة EKS، وتتولى EMR on EKS تجميع التطبيقات وجدولتها وتشغيلها. اليوم، نحن متحمسون للإعلان عن التحكم في القبول الوظيفي على EMR EKS مع دعم تزامن تشغيل الوظائف وإشارات الضغط العكسي من StartJobRun API.
مع هذا الإطلاق، يمكنك الآن تعيين حدود الوظائف المتزامنة على مجموعة افتراضية، مما يمنحك تحكمًا دقيقًا في عدد الوظائف التي يتم تنفيذها في وقت واحد وعدد الوظائف التي يمكن أن تنتظر في قائمة الانتظار. هذه قائمة انتظار منطقية تمثل الوظائف الموجودة في الحالة المعلقة/المقدمة. تساعدك عناصر التحكم هذه على حماية مجموعات EKS المشتركة من التحميل الزائد في البيئات المشتركة متعددة المستأجرين وتجنب حالات فشل الجدولة بسبب الجيران الصاخبة، بحيث تستمر أعباء العمل الحرجة الخاصة بك في العمل بشكل متوقع حتى في ظل الطلب المرتفع. يمكنك تكوين حدين اختياريين على مجموعة افتراضية: maxConcurrentJobRuns، الحد الأقصى لعدد الوظائف قيد التشغيل في أي وقت، وmaxInQueueJobRuns، الحد الأقصى لعمق قائمة الانتظار لعمليات تشغيل الوظائف التي قبلها EMR on EKS ولكن لم يبدأ تشغيلها بعد. عندما تكون قائمة الانتظار ممتلئة، يقوم StartJobRun بإرجاع HTTP ValidationException، حتى تتمكن من التخلص من حركة المرور أو إعادة توجيهها بأمان إلى مجموعة أخرى بدلاً من غمر مجموعة واحدة. يمكنك عرض الحدود الحالية وعدد الوظائف المباشرة في أي وقت باستخدام DescribeVirtualCluster. لا يتم تطبيق أي قيود افتراضيًا، لذلك لن تتأثر أعباء العمل الحالية حتى تقوم بالاشتراك.
تتوفر حدود الوظائف المتزامنة في جميع مناطق AWS حيث يتم تقديم EMR on EKS. للبدء، راجع إدارة المجموعات الافتراضية.