تدعم جلسات AWS Glue التفاعلية الآن Spark Connect لأعباء العمل التفاعلية
تدعم جلسات AWS Glue التفاعلية الآن Apache Spark Connect،والتي يمكنك استخدامها الآن لتطوير تطبيقات Apache Spark وتشغيلها من بيئتك المفضلة، بما في ذلك دفاتر الملاحظات المُدارة في استوديو Amazon SageMaker الموحد، أو بيئات دفاتر الملاحظات المفضلة لديك وIDEs مثل Jupyter وVisual Studio Code، أثناء تشغيلها على البنية التحتية بلا خادم لـ AWS Glue دون إدارة الكتل.
باستخدام Spark Connect، يمكنك إرسال وظائف Spark إلى جلسات AWS Glue التفاعلية باستخدام بنية عميل بقدرات حوسبة محدودة تفصل تطبيق العميل الخاص بك عن بيئة تنفيذ Spark. يؤدي هذا إلى فتح المجال لعمليات سير العمل مثل استكشاف البيانات المخصصة وتصحيح الأخطاء التكراري خطوة بخطوة والتطوير التدريجي لوظائف PySpark قبل النشر إلى الإنتاج، وكل ذلك من الأدوات التي تستخدمها بالفعل. يعمل Spark Connect أيضًا على تبسيط الترقيات وتحسين الاستقرار من خلال عزل تبعيات العميل عن وقت تنفيذ Spark من جانب الخادم. من أجل الملاحظة، يمكنك الحصول على مراقبة الجلسة في الوقت الفعلي عبر Spark UI، وتتبع السجل من خلال خادم Spark History، وإدارة الجلسة باستخدام واجهة برمجة تطبيقات AWS Glue أو واجهة سطر الأوامر أو مجموعة تطوير البرمجيات.
تتوفر جلسات AWS Glue التفاعلية مع Spark Connect في منطقة آسيا والمحيط الهادئ (مومباي، سول، سنغافورة، سيدني، طوكيو) وكندا (الوسطى) وأوروبا (فرانكفورت، أيرلندا، لندن، باريس، ستوكهولم) وأمريكا الجنوبية (ساو باولو) وشرق الولايات المتحدة (أوهايو، فرجينيا الشمالية) وغرب الولايات المتحدة (أوريجون).
للبدء، اتصل بجلسات Glue التفاعلية باستخدام Spark Connect من دفاتر الملاحظات في استوديو Amazon SageMaker الموحد أو IDE المفضل لديك باستخدام مترجم Python أو واجهة برمجة تطبيقات AWS ومجموعة تطوير البرمجيات وواجهة سطر الأوامر. لمعرفة المزيد، تفضل بزيارة وثائق جلسات AWS Glue التفاعلية.