Spark Connect ile EC2'de Amazon EMR üzerinde etkileşimli iş yükleri çalıştır
EC2'deki Amazon EMR artık Spark Connect ile etkileşimli Apache Spark oturumlarını destekliyor. Veri mühendisleri ve veri bilimcileri, Amazon SageMaker Birleşik Stüdyosu'ndaki yönetilen not defterlerinden ve Jupyter ve Visual Studio Code gibi kendi IDE'lerinden interaktif olarak Apache Spark uygulamaları geliştirebilir ve Apache Spark uygulamalarının hatalarını ayıklayabilir. Her oturum EC2 kümelerinde özel EMR üzerinde çalışır. Ayrıca EMR konsolunda etkin ve tamamlanmış oturumları izleyebilir ve bu oturumların hatalarını ayıklayabilirsiniz.
Etkileşimli bir oturum, hücre ve komut dosyalarını kapsayan kalıcı bir Spark bağlamı sağlayarak yerel Python kod yürütmelerini uzaktan Spark işlemleriyle birleştirmenize olanak tanır. Spark Connect'in istemci-sunucu mimarisi uygulama istemcinizi Spark sürücüsünden ayırır ve Spark altyapısı kümede çalışırken tercih ettiğiniz geliştirme ortamını ve araçları kullanmaya devam etmenize olanak tanır. Bu mimari, üretime dağıtmadan önce geçici veri keşfi, yinelemeli adım adım hata ayıklama ve artımlı PySpark iş geliştirme gibi iş akışlarını destekler. Gözlemlenebilirlik için, Spark UI aracılığıyla gerçek zamanlı oturum izleme, Spark Geçmiş Sunucusu üzerinden geçmiş izleme ve EMR konsolundan veya API/CLI/SDK'den oturum yönetimi elde edersiniz.
Etkileşimli Oturumlar, AWS GovCloud Bölgeleri ve Çin Bölgeleri hariç Amazon EMR'nin kullanılabildiği tüm AWS Bölgelerinde Apache Spark (emr-spark-8.0) ve sonraki sürümleri için AWS çalışma zamanı ile EC2 üzerinde Amazon EMR'de mevcuttur. Amazon SageMaker Birleşik Stüdyosu deneyimi desteklenen bölgelerde kullanılabilir. Başlamak için Spark Connect İle Etkileşimli Oturumlar kullanıcı kılavuzunu veya Amazon SageMaker Birleşik Stüdyosu Başlangıç Kılavuzu'nu ziyaret edin.