تشغيل أعباء العمل التفاعلية على Amazon EMR على EC2 باستخدام Spark Connect
تدعم Amazon EMR على EC2 الآن جلسات Apache Spark التفاعلية مع Spark Connect. يمكن لمهندسي البيانات وعلماء البيانات تطوير تطبيقات Apache Spark وتصحيحها بشكل تفاعلي من دفاتر الملاحظات المُدارة في استوديو Amazon SageMaker الموحد وIDEs الخاصة بهم، مثل Jupyter وVisual Studio Code، مع تشغيل كل جلسة على EMR مخصصة على كتل EC2. يمكنك أيضًا مراقبة الجلسات النشطة والمكتملة وتصحيحها في وحدة تحكم EMR.
توفر الجلسة التفاعلية سياق Spark المستمر الذي يمتد عبر الخلايا والنصوص، مما يتيح لك مزج تنفيذ التعليمات البرمجية المحلية لـ Python مع عمليات Spark عن بُعد. تعمل بنية خادم العميل في Spark Connect على فصل عميل التطبيق الخاص بك عن برنامج تشغيل Spark وتسمح لك بالحفاظ على بيئة التطوير والأدوات المفضلة لديك أثناء تشغيل البنية التحتية لـ Spark على الكتلة. تعمل هذه البنية على دعم عمليات سير عمل تشمل استكشاف البيانات عند الحاجة وتصحيح الأخطاء بشكل تكراري خطوة بخطوة والتطوير التدريجي لوظائف PySpark قبل النشر في بيئة الإنتاج. من أجل الملاحظة، يمكنك الحصول على مراقبة الجلسة في الوقت الفعلي عبر Spark UI، وتتبع السجل من خلال خادم Spark History، وإدارة الجلسة من وحدة تحكم EMR أو عبر واجهة برمجة التطبيقات (API) أو واجهة سطر الأوامر (CLI) أو مجموعة تطوير البرمجيات (SDK).
تتوفر الجلسات التفاعلية على Amazon EMR على EC2 مع وقت تنفيذ AWS لـ Apache Spark (emr-spark-8.0) والإصدارات اللاحقة، في جميع مناطق AWS حيث تتوفر Amazon EMR، باستثناء مناطق AWS GovCloud ومناطق الصين. تتوفر تجربة استوديو Amazon SageMaker الموحد في المناطق المدعومة. للبدء، تفضل بزيارة دليل الجلسات التفاعلية مع Spark Connect أو دليل بدء استخدام استوديو Amazon SageMaker الموحد.