Amazon EMR

Apache Spark, Hive, Presto ve diğer big data çerçevelerini kolayca çalıştırıp ölçeklendirin

Amazon EMR; Apache Spark, Apache Hive, Apache HBase, Apache Flink, Apache Hudi ve Presto gibi açık kaynak kodlu araçları kullanarak çok miktarda veriyi işlemede sektör lideri bulut big data platformudur. Amazon EMR kapasite sunma ve küme ayarlama gibi zaman alan görevleri otomatik hâle getirerek büyük veri ortamları oluşturmanızı, yönetmenizi ve ölçeklendirmenizi kolay hâle getirmektedir. EMR ile geleneksel yerinde çözümlerin maliyetinin yarısıyla ve standart Apache Spark ile kıyaslandığında 3 kattan daha yüksek hızla Petabayt ölçeğinde analizler yürütebilirsiniz. İş yüklerini Amazon EC2 bulut sunucularında, Amazon Elastic Kubernetes Service (EKS) kümelerinde veya EMR on AWS Outposts kullanarak yerinde çalıştırabilirsiniz.

Apache Hudi'nin değişen verileri yakalama (CDC) ve gizlilik düzenlemeleri için veri hatlarını nasıl basitleştirdiğini keşfedin

An introduction to Amazon EMR (3:00)

Avantajlar

Kullanımı kolay

Entegre bir geliştirme ortamı (IDE) olan EMR Studio'yu R, Python, Scala ve PySpark'ta yazılan veri mühendisliği ve veri bilimi uygulamalarını kolayca geliştirmek, görselleştirmek ve ayıklamak için kullanabilirsiniz. EMR Studio AWS Single Sign-On kullanır ve kurumsal kimlik bilgileriniz ile doğrudan giriş yapmanıza izin verir. Tam olarak yönetilen Jupyter Not Defterleri ve GitHub ve BitBucket gibi kod depoları kullanarak arkadaşlarınız ile işbirliği yapmanızı sağlar.

Düşük maliyetli

EMR fiyatlandırması basit ve öngörülebilirdir: En az bir dakikalık bir ücretin üzerine kullandığınız her saniye için bulut sunucusu başına ücret ödersiniz. Saatlik yalnızca 0,15 USD kadar düşük bir ücret karşılığında 10 düğümlü bir EMR kümesi dağıtabilirsiniz. Ayrıca, geçici iş yükleri için Amazon EC2 Spot ve uzun süreli iş yükleri için Rezerve Edilmiş Bulut Sunucuları seçeneğini seçerek bulut sunucuları maliyetinden %50-80 oranında tasarruf edebilirsiniz. Savings Plans seçeneğini de kullanabilirsiniz.

Esnek

EMR, yerinde kümelerin katı altyapısının aksine işlem ve depolamayı birbirinden ayırarak size bunların her birini bağımsız olarak ölçeklendirme ve Amazon S3'ün katmanlı depolamasından faydalanma olanağı sunar. EMR ile dilediğiniz ölçekteki verileri işlemek için bir tane, yüzlerce veya binlerce işlem bulut sunucusu ya da konteyner tedarik edebilirsiniz. Bulut sunucularının sayısı, (kullanıma bağlı olarak küme boyutlarını yöneten) Auto Scaling sayesinde otomatik olarak artırılıp azaltılabilir, böylece yalnızca kullandığınız kadarını ödersiniz.

Güvenilir

Kümenizi ayarlamaya veya izlemeye daha az zaman harcayın. EMR, buluta uygun olarak ayarlanmıştır, kümenizi sürekli olarak izleyerek başarısız olan görevleri yeniden dener ve düşük performanslı bulut sunucularınızı otomatik olarak değiştirir. Kümeler yüksek oranda erişilebilirliğe sahiptir ve bir düğüm hatası ile karşılaşmanız durumunda otomatik yük devretme gerçekleşir. EMR tarafından açık kaynak kodlu yazılımların en son kararlı sürümlerinin sağlanması sayesinde, güncellemeleri ve hata düzeltmelerini yönetmenize gerek kalmadığından daha az sorun yaşar ve ortamınızın bakımını yapmaya daha az çaba harcarsınız.

Güvenli

EMR, bulut sunucularına ağ erişimini denetleyen EC2 güvenlik duvarı ayarlarını otomatik olarak yapılandırır ve kümeleri Amazon Virtual Private Cloud'da (VPC) dağıtır. Sunucu tarafı şifreleme veya istemci tarafı şifreleme, AWS Key Management Service veya müşteri tarafından yönetilen kendi anahtarınız ile birlikte kullanılabilir. EMR, taşıma sırasında ve bekleme durumda şifreleme gibi diğer şifreleme seçeneklerinin yanı sıra Kerberos ile güçlü kimlik korumasını etkinleştirmeyi kolaylaştırır. Veritabanları, tablolar ve sütunlar için ayrıntılı veri erişimi denetimleri uygulamak üzere AWS Lake Formation veya Apache Ranger'ı kullanabilirsiniz.

Esnek

EMR kümeleriniz ve bireysel EMR işlerinizde tüm kontrol sizdedir. EMR kümelerini özel Amazon Linux AMI’leri ile başlatabilir ve ek üçüncü şahıs paketleri kurmak için betikler kullanarak kümeleri kolayca yapılandırabilirsiniz. EMR, kümeleri yeniden başlatma ihtiyacı duymadan, çalışan kümelerdeki uygulamaları anında yeniden yapılandırmanızı sağlar. Ayrıca, bir Docker konteyneri içinde kütüphaneleri ve çalışma süreleri bağımlılıklarını tanımlayarak bireysel işler için icra ortamını özelleştirebilir ve bunları işinizle beraber iletebilirsiniz.

Dağıtım seçenekleri

Amazon EC2’de Amazon EMR

Amazon EC2’de EMR dağıtabilir ve İstek Üzerine, Rezerve ve Spot Bulut Sunucusundan yararlanabilirsiniz. EMR, EC2 bulut sunucularının tedarikini, idaresini ve ölçeklendirilmesini yönetir. AWS diğer tüm bulut tedarikçilerinden daha fazla bulut seçeneği sunmakta ve iş yükünüz için en iyi performansı veren bulut sunucusunu seçmenize olanak tanımaktadır.

Daha fazla bilgi edinin »

Amazon EKS’de Amazon EMR

Kaynak kullanımını iyileştirmek ve altyapı yönetimini basitleştirmek için EMR kümelerini tedarik etme gerekesinimi olmadan Amazon Elastic Kubernetes Service (EKS) üzerinde Apache Spark işlerini isteğe bağlı olarak çalıştırmak için EMR’yi kullanabilirsiniz. Amazon EKS, AWS bulutta veya yerinde Kubernetes uygulamaları başlatma, çalıştırma ve ölçeklendirme esnekliği sağar. Amazon EMR on EKS ile tüm uygulamalarınızda bilişim ve bellek kaynaklarınızı paylaşabilir ve altyapınızı merkezden izleyip yönetmek için tek bir Kubernetes araç seti kullanabilirsiniz.

Daha fazla bilgi edinin »

Amazon EMR on AWS Outposts

Amazon EMR, AWS Outposts bünyesinde mevcuttur ve bulutta yapacağınız gibi yerinde ortamlarınızda EMR’yi kurmanıza, dağıtmanıza, yönetmenize ve ölçeklendirmenize olanak tanımaktadır. AWS Outposts; yerel AWS hizmetlerini, altyapısını ve işletim modellerini neredeyse tüm veri merkezlerine, ortak yerleşim alanlarına veya şirket içi tesislere getirir.

Daha fazla bilgi edinin »

Kullanım örnekleri

Machine Learning

Ölçeklenebilir makine öğrenimi algoritmaları için EMR'nin Apache Spark MLlib, TensorFlow ve Apache MXNet gibi yerleşik makine öğrenimi araçlarını kullanın. Kendi tahmine dayalı analiz araç takımınızı oluşturmak amacıyla tercih ettiğiniz kitaplıkları ve araçları kolaylıkla eklemek için özel AMI'leri ve önyükleme eylemlerini kullanın.

Ayıklama, dönüştürme, yükleme (ETL)

EMR, big data kümeleri üzerinde sıralama, toplama ve birleştirme gibi veri dönüştürme iş yüklerini (ETL) hızlı ve hesaplı bir şekilde çalıştırmak için kullanılabilir.

Redfin'in ETL için geçici EMR kümelerini nasıl kullandığını öğrenin »

Tıklama akışı analizi

Amazon S3'teki tıklama akışı verilerini Apache Spark ve Apache Hive ile analiz ederek kullanıcıları segmentlere ayırın, kullanıcı tercihlerini anlayın ve daha etkili reklamlar sunun.

Gerçek zamanlı akış

EMR'de uzun süreli, yüksek oranda erişilebilir ve hata toleranslı akış verisi işlem hatları oluşturmak için Apache Kafka, Amazon Kinesis veya diğer akış veri kaynaklarındaki olayları, Apache Spark Streaming ve Apache Flink kullanarak gerçek zamanlı bir şekilde analiz edin. Dönüştürülmüş veri kümelerini S3 veya HDFS ile, öngörüleri ise Amazon Elasticsearch Service ile kalıcı hale getirin.

Hearst'ün Spark Streaming'i nasıl kullandığını öğrenin »

Etkileşimli analiz

EMR Notebooks; veri bilimcilerin, analistlerin ve geliştiricilerin verileri hazırlamasına ve görselleştirmesine, çalışma arkadaşlarıyla işbirliği yapmasına, uygulamalar geliştirmesine ve etkileşimli analizler gerçekleştirmesine olanak tanıyan, açık kaynaklı Jupyter'i temel alan, yönetilen bir analiz ortamı sağlar.

Genomik

EMR, çok yüksek miktarlardaki genomik veriler ve diğer büyük bilimsel veri kümelerini hızla ve verimli bir şekilde yönetmek için kullanılabilir. Araştırmacılar, AWS üzerinde ücretsiz olarak barındırılan genomik verilere erişebilir.

Apache Spark ve Precision Medicine hakkında bilgi edinin »

Örnek olay incelemeleri

Analist araştırması

Devam…

Yenilikler

tarih
  • tarih
1

AWS'yi kullanmaya başlayın

EMR geçiş kılavuzunu okuyun
Geçiş kılavuzunu okuyun

Büyük verileri şirket içinden AWS'ye nasıl taşıyacağınızı öğrenin.

Daha fazla bilgi edinin 
Ücretsiz AWS hesabı için kaydolun
Ücretsiz bir hesap için kaydolun

AWS Ücretsiz Kullanımı için anında erişim elde edin. 

Kaydolun 
Konsolda EMR ile oluşturmaya başlayın
Konsolda oluşturmaya başlayın

AWS Konsolu'nda Amazon EMR ile oluşturmaya başlayın.

Oturum açın 

Büyük verileri şirket içinden AWS'ye taşıyın

Geçişinizi planlamaya yardımcı olacak kaynaklar

AWS'de büyük veri ve analiz hakkında daha fazla bilgi alın

AWS Büyük Veri Blogunu okuyun