Spark Connect ile EKS'de Amazon EMR üzerinde etkileşimli iş yükleri çalıştır
EKS'deki Amazon EMR artık Spark Connect ile etkileşimli Apache Spark oturumlarını destekliyor. Veri mühendisleri ve veri bilimcileri, Amazon SageMaker Birleşik Stüdyosu'ndaki yönetilen not defterlerinden ve Jupyter ve Visual Studio Code gibi kendi IDE'lerinden interaktif olarak Apache Spark uygulamaları geliştirebilir ve Apache Spark uygulamalarının hatalarını ayıklayabilir. Spark, veri mühendislerinin ve veri bilimcilerinin çalıştığı Amazon EKS kümelerinde çalışır.
Etkileşimli bir oturum, hücre ve komut dosyalarını kapsayan kalıcı bir Spark bağlamı sağlayarak yerel Python kod yürütmelerini uzaktan Spark işlemleriyle birleştirmenize olanak tanır. Spark Connect'in istemci-sunucu mimarisi uygulama istemcinizi Spark sürücüsünden ayırır ve Spark, Amazon EKS kümenizde çalışırken tercih ettiğiniz geliştirme ortamını ve araçları kullanmaya devam etmenize olanak tanır. Bu mimari, üretime dağıtmadan önce geçici veri keşfi ve artımlı PySpark iş geliştirme gibi iş akışlarını destekler. Her oturum, AWS Kimlik ve Erişim Yönetimi (IAM) yürütme rolünüzle güvence altına alınan ve proje ve kullanıcı tarafından etiketlenmiş sanal bir kümede pod'lar olarak çalışır.
EKS'de Amazon EMR Spark Connect, tüm AWS Ticari Bölgelerinde EMR sürümü 7.14 (Apache Spark 3.5) ve emr-spark-8.1.0 (Apache Spark 4.1) ile kullanılabilir. Amazon SageMaker Birleşik Stüdyosu deneyimi desteklenen AWS bölgelerinde kullanılabilir.
Başlamak için Amazon EMR'de EKS'deki Spark Connect belgelerini veya Amazon SageMaker Birleşik Stüdyosu Başlangıç kılavuzunu ziyaret edin.