Amazon EMR Sunucusuz üzerinde Apache Spark'ı doğrudan Amazon Sagemaker Stüdyosu'ndan kullanın

Yayınlanma Tarihi: 4 Eyl 2024

Artık Amazon EMR Sunucusuz'da petabayt ölçeğinde veri analizini ve makine öğrenimini doğrudan Amazon SageMaker Stüdyo not defterlerinden çalıştırabilirsiniz. EMR Sunucusuz, gerekli kaynakları otomatik olarak tedarik eder ve ölçeklendirir, böylece kümeleri yapılandırmak, optimize etmek, ayarlamak veya yönetmek zorunda kalmadan verilerinize ve modellerinize odaklanmanıza olanak tanır. EMR Sunucusuz, açık kaynak çerçeveleri otomatik olarak yükleyip yapılandırır ve standart açık kaynakla uyumlu ve standart açık kaynaktan daha hızlı olan performans için optimize edilmiş bir çalışma zamanı sağlar.

Bu sürümle, artık doğrudan SageMaker Studio'dan birkaç basit tıklamayla EMR Sunucusuz uygulamalarını görsel olarak oluşturabilir, bunlara göz atabilir ve bunlara bağlanabilirsiniz. Bir EMR Sunucusuz uygulamasına bağlandıktan sonra, verileri etkileşimli olarak sorgulamak, keşfetmek ve görselleştirmek ve verileri doğrudan Stüdyo not defterlerinden işlemek için Apache Spark işlerini çalıştırmak üzere Spark SQL, Scala ve Python'ı kullanabilirsiniz. EMR'nin performans için optimize edilmiş Spark sürümlerini kullandıkları için işler hızlı çalışır. Örneğin, EMR 7.1'deki Spark, açık kaynak eş değerinden 4.5 kat daha hızlıdır. EMR Sunucusuz, hesaplama ve bellek kaynaklarını uygulamanızın gereksinimlerine uyacak şekilde tedarik eden ve hızlı bir şekilde ölçeklendiren detaylı otomatik ölçeklendirme özelliğini sunar ve yalnızca kullandığınız kadar ödeme yaparsınız.

Bu özellikler SageMaker Distribution 1.10 ve üzeri sürümlerde desteklenir ve genellikle SageMaker Stüdyosu'nun kullanılabildiği tüm AWS Bölgelerinde kullanılabilir. Daha fazla bilgi edinmek için Amazon SageMaker Stüdyosu ve EMR Sunucusuz ile belgeleri büyük ölçekte işlemek için PySpark ile LangChain kullanma blog gönderisini veya buradaki SageMaker Stüdyosu belgelerini okuyun.