تشغيل أعباء العمل التفاعلية على Amazon EMR on EKS باستخدام Spark Connect
تدعم Amazon EMR on EKS الآن جلسات Apache Spark التفاعلية باستخدام Spark Connect. يمكن لمهندسي البيانات وعلماء البيانات تطوير تطبيقات Apache Spark وتصحيحها بشكل تفاعلي من دفاتر الملاحظات المُدارة في استوديو Amazon SageMaker الموحد وبيئات IDE الخاصة بهم، مثل Jupyter وVisual Studio Code، مع تشغيل Spark على مجموعات Amazon EKS التي تعمل بها بالفعل.
توفر الجلسة التفاعلية سياق Spark المستمر الذي يمتد عبر الخلايا والنصوص، مما يتيح لك مزج تنفيذ التعليمات البرمجية المحلية لـ Python مع عمليات Spark عن بُعد. تعمل بنية خادم العميل في Spark Connect على فصل عميل التطبيق الخاص بك عن برنامج تشغيل Spark وتسمح لك بالحفاظ على بيئة التطوير والأدوات المفضلة لديك أثناء تشغيل Spark على مجموعة Amazon EKS. تعمل هذه البنية على دعم عمليات سير عمل تشمل استكشاف البيانات عند الحاجة والتطوير التدريجي لوظائف PySpark قبل النشر في بيئة الإنتاج. تعمل كل جلسة كوحدات pod على مجموعة افتراضية، ويتم تأمينها من خلال دور تنفيذ إدارة الهوية والوصول في AWS (IAM) الخاص بك ويتم وضع علامة عليها حسب المشروع والمستخدم.
تتوفر خدمة Spark Connect على Amazon EMR on EKS مع إصدار EMR release 7.14 (Apache Spark 3.5) وemr-spark-8.1.0 (Apache Spark 4.1)، في جميع مناطق AWS التجارية. تتوفر تجربة استوديو Amazon SageMaker الموحد في مناطق AWS المدعومة.
للبدء، تفضل بزيارة وثائق Spark Connect على Amazon EMR on EKS أو دليل بدء التشغيل الخاص باستوديو Amazon SageMaker الموحد.