تزيل Amazon EMR بلا خادم توفير التخزين المحلي لأعباء عمل Apache Spark
تقدم Amazon EMR بلا خادم الآن مساحة تخزين بدون خادم تقضي على توفير التخزين المحلي لأعباء عمل Apache Spark، مما يقلل من تكاليف معالجة البيانات بنسبة تصل إلى 20% ويمنع فشل المهام بسبب قيود سعة القرص. لم تعد بحاجة إلى تكوين نوع وحجم القرص المحلي لكل تطبيق. تتعامل EMR بلا خادم تلقائيًا مع عمليات البيانات الوسيطة مثل التوزيع بدون رسوم تخزين محلية. أنت تدفع فقط مقابل موارد الحوسبة والذاكرة التي تستهلكها مهمتك.
يقوم EMR Serverless بإلغاء تحميل عمليات البيانات الوسيطة إلى وحدة تخزين بدون خادم تتم إدارتها بالكامل ويتم توسيع نطاقها تلقائيًا وتقوم بتشفير البيانات أثناء النقل وأثناء السكون مع عزل على مستوى المهمة. يعمل التخزين بدون خادم على فصل التخزين عن الحوسبة، مما يسمح لـ Spark بتحرير العمال فورًا عند الخمول بدلاً من إبقاء العمال نشطين للحفاظ على البيانات المؤقتة. إنه يزيل فشل المهام الناتج عن عدم كفاية سعة القرص ويقلل التكاليف عن طريق تجنب رسوم العمال الخاملين. وهذا أمر مهم بشكل خاص للمهام التي تستخدم التخصيص الديناميكي للموارد، مثل محركات التوصية التي تعالج الملايين من تفاعلات العملاء، حيث تعالج المراحل الأولية مجموعات بيانات كبيرة بدرجة عالية من التوازي، ثم تتقلص لاحقًا مع تجميع البيانات.
هذه الميزة متاحة بشكل عام لإصدار EMR 7.12 والإصدارات الأحدث. راجع مناطق AWS المدعومة لمعرفة مدى التوفر. للبدء، قم بزيارة وثائق التخزين بدون خادم لـ EMR بلا خادم.