Amazon EMR
Apache Spark, Trino ve diğer büyük veri iş yüklerini kolayca çalıştırın ve ölçeklendirin
Neden Amazon EMR?
Amazon EMR, benzersiz esneklik ve ölçekle analitik iş yüklerini hızlandıran büyük bir veri işleme hizmetidir. EMR, Apache Spark, Trino, Apache Flink ve Apache Hive için performans açısından optimize edilmiş çalışma sürelerine sahiptir ve maliyetleri ve işlem sürelerini önemli ölçüde azaltır. Hizmet AWS ile sorunsuz bir şekilde entegre olur ve veri gölü iş akışlarını ve kurumsal ölçekli mimarileri basitleştirir. Yerleşik otomatik ölçeklendirme, akıllı izleme ve yönetilen altyapı ile EMR, geleneksel çözümlerin operasyonel ek yükü olmadan petabayt ölçekli analitiği verimli bir şekilde sunarak kümeleri yönetmeye değil, içgörü çıkarmaya odaklanmanıza olanak tanır.
Esnek dağıtım seçenekleri
Neden EMR Sunucusuz?
Amazon EMR Serverless, veri analistlerinin ve mühendislerinin kümeleri veya sunucuları yapılandırmadan, yönetmeden ve ölçeklendirmeden Apache Spark gibi açık kaynaklı büyük veri analizi çerçevelerini çalıştırmasını kolaylaştırır. EMR Serverless, kümeleri planlamak ve yönetmek için uzmanlara ihtiyaç duymadan Amazon EMR'nin tüm özelliklerini ve avantajlarını kullanmaya başlamanın en hızlı yoludur.
Amazon EC2'de neden Amazon EMR?
Amazon EC2'deki Amazon EMR, küme yapılandırması üzerinde kontrol sağlar ve uzun süredir çalışan kümeleri destekler, böylece belirli donanım kurulumları gerektiren sürekli veri işleme görevleri için mükemmeldir. Hem maliyet hem de performans açısından optimize etmek için çok çeşitli EC2 bulut sunucusu türleri sunarken, Apache Spark ve Trino gibi popüler çerçevelerin yanı sıra özel uygulamalar yükleyebilirsiniz. Diğer AWS hizmetleriyle entegrasyon ve Spot Bulut Sunucularını kullanma yeteneği, büyük veri işlemleri üzerinde ayrıntılı denetim gerektiren kuruluşlar için uygun maliyetli bir çözüm haline getirir.
Neden Amazon EKS'de Amazon EMR?
Amazon Elastic Kubernetes Service (EKS) üzerindeki Amazon EMR, EMR kümelerini sağlamadan Apache Spark işlerini EKS'de talep üzerine göndermenize olanak tanır. EKS üzerinde EMR ile, kaynak kullanımını iyileştirmek ve altyapı yönetimini basitleştirmek için analitik iş yüklerinizi diğer Kubernetes tabanlı uygulamalarınızla aynı Amazon EKS kümesinde çalıştırabilirsiniz.
Yeni nesil Amazon SageMaker'da verilerinizi Amazon EMR ile işleyin
Amazon EMR, yeni nesil Amazon SageMaker'da mevcuttur ve Apache Spark, Trino ve diğer açık kaynaklı analiz çerçevelerini birleşik bir veri ve yapay zeka geliştirme ortamında zahmetsizce çalıştırmanıza olanak tanır.
Özellikler
Avantajlar
Amazon EMR, daha hızlı ve uygun maliyetli işlemler için performans açısından optimize edilmiş Apache Spark'ı, Spot Bulut Sunucuları dahil bulut sunucusu türlerini seçme esnekliği ve kümeyi dinamik olarak doğru boyutlandıran tam yönetilen otomatik ölçeklendirme ile birleştirir. Bu da aşırı provizyonu ortadan kaldırır ve genel harcamaları azaltır.
Amazon EMR, API uyumluluğunu korurken açık kaynaklı Apache Spark'tan 5,4 kat daha hızlıdır. Müşterilerin seçtikleri açık kaynaklı çerçeveleri (Apache Spark, Trino, Apache Flink veya Apache Hive) dağıtmalarını sağlar. EMR, içgörü süresini hızlandırmak için Iceberg, Hudi ve Delta gibi popüler açık tablo formatlarını destekler.
EMR, tam yönetilen, altyapısız işleme için EMR Serverless, ince taneli küme denetimi için EC2 üzerinde EMR ve Kubernetes yerel büyük veri iş yükleri için EKS üzerinde EMR dahil olmak üzere dağıtımda seçenekler sunar. İster isteğe bağlı işler için kısa vadeli kümeler ister kalıcı görevler için uzun süreli kümeler çalıştırın, EMR esnek kaynak tahsisi ve verimli ölçeklendirme yoluyla maliyetleri optimize ederken operasyonel ihtiyaçlarınıza uyum sağlar.
Amazon SageMaker'ın yeni neslindeki Amazon EMR, Apache Spark, Trino ve Apache Flink gibi açık kaynaklı çerçeveleri çalıştırmanıza olanak tanıyarak analitik iş yüklerini altyapıyı tedarik etmeden veya yönetmeden zahmetsizce ölçeklendirmenize olanak tanır. Amazon SageMaker'daki EMR'nin yetenekleriyle, veri işleme ve model geliştirmeyi birleştirerek ham veri dönüşümünden yapay zeka dağıtımına kadar uçtan uca iş akışlarını tek bir işbirliğine dayalı ortamda sağlayabilirsiniz.
Akıllı otomasyon sayesinde aylarca süren Apache Spark yükseltmelerini haftalık verimli projelere dönüştürün. Spark yükseltme aracısı, tüm kod tabanınızdaki API değişikliklerini otomatik olarak analiz edip doğrulayarak kurumsal ölçekte geçişleri kolaylaştırarak hem maliyeti hem de karmaşıklığı önemli ölçüde azaltır.