Amazon EMR artık Apache Spark 4.0.2'yi genel olarak destekliyor
Amazon EMR artık üç dağıtım modelinde de Apache Spark 4.0.2'yi destekliyor. Spark 4.0.2 ile ANSI SQL ve VARIANT veri türleriyle veri işlem hatlarını daha kolay oluşturabilir ve bakımını yapabilir, ayrıntılı erişim denetimlerini (FGAC) satır düzeyinde veya sütun düzeyinde uygulayabilir, Apache Iceberg v3 tablo formatıyla uyumluluk ve yönetim çerçevelerini güçlendirebilir ve gelişmiş akış yetenekleriyle yeni gerçek zamanlı uygulamaları daha hızlı dağıtabilirsiniz.
Spark 4.0.2 ile veri akışları oluşturarak veri mühendisliğini standart ANSI SQL desteği aracılığıyla daha geniş bir kullanıcı yelpazesi için erişilebilir hale getirebilir ve Spark'a özgü söz dizimini öğrenme ihtiyacını ortadan kaldırabilirsiniz. Spark 4.0.2, VARIANT veri türleri aracılığıyla JSON ve yarı yapılandırılmış verileri yerel olarak destekleyerek çeşitli veri formatlarını işlemede esneklik sağlar. Apache Spark işlerinizde AWS Lake Formation kayıtlı tabloları için hem okuma hem de yazma işlemlerinde ayrıntılı erişim denetimi (FGAC) uygulayabilirsiniz. Bu güvenlik özelliklerine dayanan Apache Iceberg v3 tablo formatı daha güçlü işlem garantileri sağlar ve veri kökenini izleyerek mevzuata uygunluk için gerekli denetim izlerini oluşturur. Gelişmiş akış denetimleri, karmaşık durum özellikli işlemlerin yönetimini basitleştirerek ve izlemeyi geliştirerek dolandırıcılık tespiti, kişiselleştirme ve diğer zamana duyarlı kullanım durumları için gerçek zamanlı uygulamaları daha hızlı dağıtmanıza olanak tanır.
Apache Spark 4.0.2, EMR'nin kullanılabildiği tüm bölgelerde kullanılabilir. Mevcut EMR uygulamanızı yükseltiyorsanız, yükseltmelerinizi hızlandırmak için Apache Spark yükseltme aracısını kullanabilirsiniz. Amazon EMR'de Apache Spark 4.0.2 hakkında daha fazla bilgi edinmek için Amazon EMR sürüm notlarını ziyaret edin veya AWS Yönetim Konsolu'ndan Spark 4.0.2 ile bir EMR uygulaması oluşturarak başlayın.