Amazon EMR

Apache Spark, Hive, Presto ve diğer big data çerçevelerini kolayca çalıştırıp ölçeklendirin

Amazon EMR; Apache Spark, Apache Hive, Apache HBase, Apache Flink, Apache Hudi ve Presto gibi açık kaynak kodlu araçları kullanarak çok miktarda veriyi işlemek için sektör lideri bulut big data platformudur. EMR ile, geleneksel yerinde çözümlerin maliyetinin yarısıyla ve standart Apache Spark ile kıyaslandığında 3 kattan daha yüksek hızla Petabayt ölçeğinde analizler yürütebilirsiniz. Kısa süreli işler için kümeler oluşturup kaldırabilir ve kullanılan bulut sunucuları için saniye başına ödeme yapabilirsiniz. Uzun süreli iş yükleri için ise talebi karşılamak için otomatik olarak ölçeklendirilen, yüksek oranda erişilebilir kümeler oluşturabilirsiniz. Apache Spark ve Apache Hive gibi açık kaynaklı araçların mevcut şirket içi dağıtımlarına sahipseniz, AWS Outposts'ta EMR kümeleri de çalıştırabilirsiniz.

Yerinde iş yüklerini EMR'ye taşıyarak nasıl maliyeti düşürebileceğinizi ve operasyonları basitleştirebileceğinizi öğrenin

Apache Hudi'nin değişen verileri yakalama (CDC) ve gizlilik düzenlemeleri için veri hatlarını basitleştirir

An introduction to Amazon EMR (3:00)

Avantajlar

Kullanımı kolay

Analistler, veri mühendisleri ve veri bilimciler, EMR Notebooks'u kullanarak birey ve ekiplerin, kolayca işbirliği yapıp verileri etkileşimli olarak keşfetmesine, işlemesine ve görselleştirmesine olanak sağlar. Kullanmak istediğiniz EMR uygulamalarının sürümü ve bilgi işlem türünü belirtmeniz yeterlidir. Sizin analiz çalıştırmaya odaklanabilmeniz için EMR; kümelerin tedarik edilmesi, yapılandırılması ve ayarlanmasını üstlenir.

Düşük maliyetli

EMR fiyatlandırması basit ve öngörülebilirdir: En az bir dakikalık bir ücretin üzerine kullandığınız her saniye için bulut sunucusu başına ücret ödersiniz. Saatlik yalnızca 0,15 USD kadar düşük bir ücret karşılığında 10 düğümlü bir EMR kümesi dağıtabilirsiniz. Ayrıca, geçici iş yükleri için Amazon EC2 Spot ve uzun süreli iş yükleri için Rezerve Edilmiş Bulut Sunucuları seçeneğini seçerek bulut sunucuları maliyetinden %50-80 oranında tasarruf edebilirsiniz. Savings Plans seçeneğini de kullanabilirsiniz.

Esnek

EMR, yerinde kümelerin katı altyapısının aksine işlem ve depolamayı birbirinden ayırarak size bunların her birini bağımsız olarak ölçeklendirme ve Amazon S3'ün katmanlı depolamasından faydalanma olanağı sunar. EMR ile dilediğiniz ölçekteki verileri işlemek için bir, yüzlerce veya binlerce işlem bulut sunucusu tedarik edebilirsiniz. Bulut sunucularının sayısı, (kullanıma bağlı olarak küme boyutlarını yöneten) Auto Scaling sayesinde otomatik olarak artırılıp azaltılabilir, böylece yalnızca kullandığınız kadarını ödersiniz.

Güvenilir

Kümenizi ayarlamaya veya izlemeye daha az zaman harcayın. EMR, buluta uygun olarak ayarlanmıştır, kümenizi sürekli olarak izleyerek başarısız olan görevleri yeniden dener ve düşük performanslı bulut sunucularınızı otomatik olarak değiştirir. Çoklu ana düğümler sayesinde, kümeler yüksek oranda erişilebilirliğe sahiptir ve bir düğüm hatası ile karşılaşmanız durumunda otomatik yük devretme gerçekleşir. EMR tarafından açık kaynak kodlu yazılımların en son kararlı sürümlerinin sağlanması sayesinde, güncellemeleri ve hata düzeltmelerini yönetmenize gerek kalmadığından daha az sorun yaşar ve ortamın bakımını yapmaya daha az çaba harcarsınız.

Güvenli

EMR, bulut sunucularına ağ erişimini denetleyen EC2 güvenlik duvarı ayarlarını otomatik olarak yapılandırır ve kümeleri Amazon Virtual Private Cloud'da (VPC) dağıtır. Sunucu tarafı şifreleme veya istemci tarafı şifreleme, AWS Key Management Service veya müşteri tarafından yönetilen kendi anahtarınız ile birlikte kullanılabilir. EMR, taşıma sırasında ve bekleme durumda şifreleme gibi diğer şifreleme seçeneklerinin yanı sıra Kerberos ile güçlü kimlik korumasını etkinleştirmeyi kolaylaştırır. Veritabanları, tablolar ve sütunlar için ayrıntılı veri erişimi denetimleri uygulamak üzere AWS Lake Formation veya Apache Ranger'ı kullanabilirsiniz.

Esnek

Her bulut sunucusuna kök erişimiyle kümeniz konusunda denetim tamamen sizdedir. EMR kümelerini özel Amazon Linux AMI'leri ile dağıtabilir ve önyükleme eylemleriyle kolayca ek uygulamalar yükleyebilirsiniz. EMR, kümeleri yeniden başlatma ihtiyacı duymadan, çalışan kümelerdeki uygulamaları anında yeniden yapılandırmanızı sağlar. Ayrıca,Hadoop 3.0 kullanarak kütüphane bağımlılıklarını Docker container'larında paketleyebilir ve bunları işlerinizle birlikte göndererek ortam bağımlılıklarınızı basitleştirebilirsiniz.

Kullanım örnekleri

Machine Learning

Ölçeklenebilir makine öğrenimi algoritmaları için EMR'nin Apache Spark MLlib, TensorFlow ve Apache MXNet gibi yerleşik makine öğrenimi araçlarını kullanın. Kendi tahmine dayalı analiz araç takımınızı oluşturmak amacıyla tercih ettiğiniz kitaplıkları ve araçları kolaylıkla eklemek için özel AMI'leri ve önyükleme eylemlerini kullanın.

Ayıklama dönüştürme yükleme (ETL)

EMR, big data kümeleri üzerinde sıralama, toplama ve birleştirme gibi veri dönüştürme iş yüklerini (ETL) hızlı ve hesaplı bir şekilde çalıştırmak için kullanılabilir.

Redfin'in ETL için geçici EMR kümelerini nasıl kullandığını öğrenin »

Tıklama akışı analizi

Amazon S3'teki tıklama akışı verilerini Apache Spark ve Apache Hive ile analiz ederek kullanıcıları segmentlere ayırın, kullanıcı tercihlerini anlayın ve daha etkili reklamlar sunun.

Gerçek zamanlı akış

EMR'de uzun süreli, yüksek oranda erişilebilir ve hata toleranslı akış verisi işlem hatları oluşturmak için Apache Kafka, Amazon Kinesis veya diğer akış veri kaynaklarındaki olayları, Apache Spark Streaming ve Apache Flink kullanarak gerçek zamanlı bir şekilde analiz edin. Dönüştürülmüş veri kümelerini S3 veya HDFS ile, öngörüleri ise Amazon Elasticsearch Service ile kalıcı hale getirin.

Hearst'ün Spark Streaming'i nasıl kullandığını öğrenin »

Etkileşimli analiz

EMR Notebooks; veri bilimcilerin, analistlerin ve geliştiricilerin verileri hazırlamasına ve görselleştirmesine, çalışma arkadaşlarıyla işbirliği yapmasına, uygulamalar geliştirmesine ve etkileşimli analizler gerçekleştirmesine olanak tanıyan, açık kaynaklı Jupyter'i temel alan, yönetilen bir analiz ortamı sağlar.

Genomik

EMR, çok yüksek miktarlardaki genomik veriler ve diğer büyük bilimsel veri kümelerini hızla ve verimli bir şekilde yönetmek için kullanılabilir. Araştırmacılar, AWS üzerinde ücretsiz olarak barındırılan genomik verilere erişebilir.

Apache Spark ve Precision Medicine hakkında bilgi edinin »

Örnek olay incelemeleri

Analist araştırması

Devam…

Yenilikler

tarih
  • tarih
1

AWS'yi kullanmaya başlayın

EMR geçiş kılavuzunu okuyun
Geçiş kılavuzunu okuyun

Büyük verileri şirket içinden AWS'ye nasıl taşıyacağınızı öğrenin.

Daha fazla bilgi edinin 
Ücretsiz AWS hesabı için kaydolun
Ücretsiz bir hesap için kaydolun

AWS Ücretsiz Kullanımı için anında erişim elde edin. 

Kaydolun 
Konsolda EMR ile oluşturmaya başlayın
Konsolda oluşturmaya başlayın

AWS Konsolu'nda Amazon EMR ile oluşturmaya başlayın.

Oturum açın 

Büyük verileri şirket içinden AWS'ye taşıyın

Geçişinizi planlamaya yardımcı olacak kaynaklar

AWS'de büyük veri ve analiz hakkında daha fazla bilgi alın

AWS Büyük Veri Blogunu okuyun