تشغيل أعباء العمل التفاعلية على Amazon EMR بلا خادم باستخدام Spark Connect
يدعم Amazon EMR بلا خادم الآن الجلسات التفاعلية باستخدام Spark Connect، مما يتيح لك تطوير تطبيقات Apache Spark وتشغيلها من دفاتر الملاحظات المُدارة في استوديو Amazon SageMaker الموحد، بالإضافة إلى بيئات دفاتر الملاحظات وبيئات التطوير المتكاملة (IDE) المفضلة لديك مثل Jupyter وVisual Studio Code. يمكنك أيضًا مراقبة الجلسات النشطة والمكتملة وتصحيحها في وحدة تحكم EMR، والحصول على رؤية دقيقة للتكلفة والاستخدام للجلسات الفردية.
توفر الجلسة التفاعلية سياق Spark المستمر الذي يمتد بسلاسة عبر الخلايا والبرامج النصية، مما يتيح لك دمج تنفيذ كود Python المحلي مع عمليات Spark عن بُعد داخل بيئة موحدة. يتم تمكين ذلك من خلال بنية الخادم والعميل الخاصة بـ Spark Connect، والتي تفصل عميل التطبيق الخاص بك عن برنامج تشغيل Spark وتسمح لك بالحفاظ على بيئة التطوير والأدوات المفضلة لديك بينما تعمل البنية التحتية لـ Spark بشكل مستقل على EMR بلا خادم. تعمل هذه البنية على فتح المجال لسير عمل يشمل استكشاف البيانات عند الحاجة وتصحيح الأخطاء بشكل تكراري خطوة بخطوة والتطوير التدريجي لوظائف PySpark قبل النشر في بيئة الإنتاج. من أجل الملاحظة، يمكنك الحصول على مراقبة الجلسة في الوقت الفعلي عبر Spark UI، وتتبع السجل من خلال خادم Spark History، وإدارة الجلسة من وحدة تحكم EMR أو عبر واجهة برمجة التطبيقات (API) أو واجهة سطر الأوامر (CLI) أو مجموعة تطوير البرمجيات (SDK).
يتوفر Spark Connect على خدمة Amazon EMR بلا خادم مع الإصدار 7.13 من EMR في جميع مناطق AWS التي تتوفر فيها خدمة Amazon EMR بلا خادم. تتوفر تجربة استوديو SageMaker الموحد في المناطق المدعومة على . للبدء، تفضل بزيارة دليل مستخدم الجلسات التفاعلية لـ EMR بلا خادم أو دليل بدء تشغيل استوديو Amazon SageMaker الموحد.