Spark Connect İle Amazon EMR Sunucusuz Üzerinde Etkileşimli İş Yükleri Çalıştır
Amazon EMR Sunucusuz artık Spark Connect ile etkileşimli oturumları destekleyerek Amazon SageMaker Birleşik Stüdyosu'ndaki yönetilen not defterlerinden ve Jupyter ve Visual Studio Code gibi favori not defteri ortamlarınızdan ve IDE'lerden Apache Spark uygulamaları geliştirmenize ve çalıştırmanıza olanak tanır. Ayrıca EMR konsolunda etkin ve tamamlanmış oturumları izleyebilir, hata ayıklayabilir ve bireysel oturumlar için ayrıntılı maliyet ve kullanım görünürlüğü elde edebilirsiniz.
Etkileşimli bir oturum, hücreler ve komut dosyaları arasında sorunsuz bir şekilde yayılan kalıcı bir Spark bağlamı sağlar ve yerel Python kodu yürütmeyi birleşik bir ortamda uzak Spark işlemleriyle harmanlamanıza olanak tanır. Bu, uygulama istemcinizi Spark sürücüsünden ayıran ve Spark altyapısı EMR Sunucusuz üzerinde bağımsız olarak çalışırken tercih ettiğiniz geliştirme ortamını ve araçlarını korumanıza olanak tanıyan Spark Connect'in istemci-sunucu mimarisi tarafından etkinleştirilir. Bu mimari, üretime dağıtmadan önce geçici veri keşfi, yinelemeli adım adım hata ayıklama ve artımlı PySpark iş geliştirme gibi iş akışlarına olanak tanır. Gözlemlenebilirlik için, Spark UI aracılığıyla gerçek zamanlı oturum izleme, Spark Geçmiş Sunucusu üzerinden geçmiş izleme ve EMR konsolundan veya API/CLI/SDK'den oturum yönetimi elde edersiniz.
Amazon EMR Sunucusuz'da Spark Connect, Amazon EMR Sunucusuz'un kullanılabildiği tüm AWS Bölgelerinde EMR sürümü 7.13 ile kullanılabilir. SageMaker Birleşik Stüdyosu deneyimi destekli bölgelerde mevcuttur. Başlamak için EMR Sunucusuz Etkileşimli Oturumlar Kullanıcı Kılavuzu veya Amazon SageMaker Birleşik Stüdyosu Başlangıç Kılavuzunu ziyaret edin.