AWS’de Data Lake'ler ve Analitik

Data lake va analitik çözümlerinizi oluşturmanız için en kapsamlı, güvenli, ölçeklenebilir ve uygun maliyetli hizmet portföyü

AWS, analytik için bir data lake'in hızlı ve kolay şekilde oluşturulmasında ve yönetilmesinde gereken her şeyi sağlayan entegre bir hizmet paketidir. AWS ile desteklenen data lake'ler geleneksel veri silolarının ve data warehouse'ların yapamayacağı şekilde daha derin bilgilerin elde edilmesi için farklı veri türlerinin ve analytik yaklaşımlarının birleştirilmesinde gerekli ölçeği, çevikliği ve esnekliği sağlayabilmektedir. AWS, müşterilerinin güvenlikten veya yönetimden taviz vermeksizin tüm ilgili verilere kolayca erişebilmeleri için onlara çok geniş analytik ve machine learning hizmetleri sunmaktadır.

AWS üzerinde data lake ve analytik içeren kuruluşların sayısı başka yerlerde olduğundan çok daha fazladır. NASDAQ, Zillow, Yelp, iRobot ve FINRA gibi müşteriler, ticaretleri açısından kritik analytik iş yüklerini karşılamak için AWS'ye güvenmektedirler.

AWS’de Data Lake'ler ve Analitik

AWS’de Data Lake'ler ve Analitik

AWS, data lake'lerinizi ve analytik çözümlerinizi oluşturmak üzere verilerinizi taşımanız, depolamanız ve analiz etmeniz için en kapsamlı hizmet yelpazesini sunar.

aws-datalake-diagram-simplified

Veri Taşıma

Verilerinizi şirket içinden, gerçek zamanlı olarak içe aktarın.

Data Lake

Boyutunun gigabayt ya da eksabayt ölçeğinde olmasından bağımsız olarak dilediğiniz türde veriyi güvenli bir biçimde depolayın.

Analytik

Verilerinizi en geniş analytik hizmet yelpazesiyle analiz edin.

Machine Learning

Gelecekteki sonuçları tahmin edin ve hızlı tepki için önlemleri tanımlayın.

Veri Taşıma

AWS’de data lake oluşturma sürecinin ilk adımı verileri buluta taşımaktır. Verilerin büyük bir kesinti, yüksek maliyetler ve zaman kaybı olmaksızın taşınması konusunda fiziksel olarak bant genişliği ve aktarım hızı kısıtlamaları söz konusudur. AWS, veri aktarımını kolay ve esnek bir sürece dönüştürmek için verilerin buluta aktarılmasına yönelik en geniş seçenek yelpazesini sunar.

Data lake'iniz için ETL işleri ve ML Transform'lar oluşturmak için AWS Lake Formation hakkında daha fazla bilgi edinin.

Şirket içi veri taşıma

AWS, veri merkezinizden AWS’ye veri taşımanın birden çok yolunu sunar. Ağınız ile AWS arasında tahsis edilmiş bir ağ bağlantısı kurmak için AWS Direct Connect’i kullanabilirsiniz. Fiziksel gereçler kullanarak AWS’ye petabaytlarca, hatta eksabaytlarca veri taşımak için AWS Snowball ve AWS Snowmobile çözümlerini kullanabilirsiniz. Şirket içi uygulamalarınızın verileri doğrudan AWS’de depolaması için AWS Storage Gateway’i kullanabilirsiniz.  

Gerçek zamanlı veri taşıma

AWS’de web siteleri, mobil uygulamalar ve internete bağlı cihazlar gibi yeni kaynaklar tarafından üretilen gerçek zamanlı verileri almanın birden çok yolu sunulur. Akış verilerinin ve IoT cihaz verilerinin yakalanıp yüklenmesini kolaylaştırmak için Amazon Kinesis Data Firehose, Amazon Kinesis Video Streams ve AWS IoT Core hizmetlerini kullanabilirsiniz.  

Data Lake

Veriler bulut için hazır olduğunda, AWS’nin sunduğu Amazon S3 ve Amazon Glacier hizmetleri biçiminden bağımsız olarak tüm verilerin güvenli bir şekilde ve çok büyük ölçekte bulutta depolanmasını kolaylaştırır. AWS Glue, son kullanıcıların analizlerinde kullanmak üzere ilgili verileri bulmasını kolaylaştırmak için otomatik olarak kullanıcıların arama yapabileceği ve sorgulayabileceği tek bir katalog oluşturur.

Güvenli data lake'lerini daha hızlı şekilde oluşturmak için AWS Lake Formation hakkında daha fazla bilgi edinin.

Object Storage

Amazon S3

Amazon S3, veri erişimi için milisaniye düzeyinde gecikme süresi sunan, güvenli, yüksek oranda ölçeklenebilir ve dayanıklı bir nesne depolama alanıdır. S3, web siteleri ve mobil uygulamalar, kurumsal uygulamalar ve IoT sensörleri ya da cihazlardan alınan veriler dahil olmak üzere kaynağından bağımsız olarak her tür verinin depolanabilmesi için tasarlanmıştır. Her miktarda verinin eşsiz bir erişilebilirlik düzeyinde depolanıp alınabilmesini sağlayacak ve en başından itibaren %99,999999999 (11 dokuz) dayanıklılık sağlayacak şekilde tasarlanmıştır. S3 Select, veri okuma ve alma işlemlerine odaklanarak tepki sürelerini %400'e kadar kısaltmaktadır. S3, en katı düzenleme gereksinimlerini dahi karşılayan kapsamlı güvenlik ve mevzuat uyumluluğu özellikleri sunar.  

Yedekleme ve Arşivleme

Amazon Glacier

Amazon Glacier, verilere dakikalar içinde erişebilen uzun süreli yedekleme ve arşiv için güvenli, dayanıklı ve son derece düşük maliyetli bir depodur ve benzer şekilde Glacier Select sadece gerekli olan verileri okur ve alır. %99,999999999 (11 dokuz) dayanıklılığa sahip olacak şekilde tasarlanmıştır ve en katı düzenleme gereksinimlerinin bile karşılanmasına yardımcı olabilecek kapsamlı güvenlik ve uyumluluk özellikleri sağlar. Verilerini aylık gigabayt başına 0,004 USD düzeyinden başlayan fiyatlarla depolayabilen müşteriler, şirket içi çözümlerle karşılaştırıldığında önemli ölçüde tasarruf sağlar.

Data Catalog

AWS Glue

AWS Glue, data lake’teki verilerin keşfedilebilmesi için bir veri kataloğu sağlayan, tam olarak yönetilen bir hizmettir ve verilerin analize hazırlanması için ayıklama, dönüştürme ve yükleme (ETL) özelliklerine sahiptir. Tüm veri varlıkları için otomatik olarak kalıcı bir meta veri deposu olarak oluşturulan veri kataloğu, tüm verileri tek bir görünümde aranabilir ve sorgulanabilir hale getirir.

Analytik

AWS, data lake üzerinde çalışan en geniş, en uygun maliyetli analitik hizmet seçenek yelpazesini sağlar. Analytik hizmetlerinin her biri etkileşimli analiz, Apache Spark ve Hadoop ile büyük veri işleme, veri ambarı, gerçek zamanlı analitik, operasyonel analitik, panolar ve görselleştirmeler gibi birçok farklı analitik kullanım örneğine yönelik olarak, amacına uygun bir şekilde tasarlanmıştır.

Analytik hizmetlerine yönelik olarak bir data lake'te verilere güvenli, self-servis erişimi yönetmek için AWS Lake Formation hakkında daha fazla bilgi edinin.

Etkileşimli Analitik

Amazon Athena

Amazon Athena, etkileşimli analiz için verilerin standart SQL sorguları kullanılarak doğrudan S3 ve Glacier’da analiz edilmesini kolaylaştırır. Athena sunucusuz olduğundan, kurmanız veya yönetmeniz gereken bir altyapı yoktur. Verileri anında sorgulamaya başlayarak sonuçları saniyeler içinde alabilirsiniz ve yalnızca çalıştırdığınız sorgular için ödeme yaparsınız. Basitçe Amazon S3'teki verilerinizi işaret edin, şemayı tanımlayın ve standart SQL kullanarak sorgulamaya başlayın. Çoğu sonuç saniyeler içinde sunulur.  

Büyük Veri İşleme

Amazon EMR

Amazon EMR, büyük verilerin Spark ve Hadoop framework’leriyle işlenmesi için çok büyük miktarda verinin işlenmesini kolay, hızlı ve uygun maliyetli hale getiren, yönetilen bir hizmet sağlar. Amazon EMR; Hadoop, Spark, HBase ve Presto da dahil 19 farklı açık kaynak projesini veri mühendisliği, veri bilimi geliştirme ve işbirliği için yönetilen EMR Notebook'larıyla destekler. Her proje, yeni bir sürüm yayınlandıktan sonra 30 gün içinde EMR’de güncellenir ve böylece topluluğun sunduğu en son ve en iyi özelliklere zahmetsiz şekilde sahip olmanız sağlanır.

Veri Ambarı

Amazon Redshift

Amazon Redshift, veri ambarı için petabaytlarca yapılandırılmış veri üzerinde karmaşık analitik sorguları çalıştırma olanağı sağlar ve verilerin gereksiz bir şekilde taşınmasını gerektirmeksizin doğrudan S3’teki eksabaytlarca yapılandırılmış veya yapılandırılmamış veriler üzerinde SQL sorguları çalıştıran Redshift Spectrum’u içerir. Amazon Redshift, geleneksel çözümlerin onda birinden daha düşük bir maliyete sahiptir. Saatlik yalnızca 0,25 USD ödeyerek küçük ölçekte kullanmaya başlayın ve yıllık terabayt başına 1.000 USD karşılığında ölçeği petabayt düzeyine genişletin.

Gerçek Zamanlı Analitik

Amazon Kinesis

Amazon Kinesis, gerçek zamanlı analitik için IoT telemetri verileri, uygulama günlükleri ve web sitesi tıklama akışları gibi akış verilerini toplamayı, işlemeyi ve analiz etmeyi kolaylaştırır. Bu sayede, data lake’inizde gelen verileri hemen işleyip analiz edebilir ve İşleme sürecinin başlaması için tüm verilerinizin toplanmasını beklemek zorunda kalmadan gerçek zamanlı olarak yanıt verebilirsiniz.

Operasyonel Analitik

Amazon Elasticsearch Service

Amazon Elasticsearch Service, uygulama izleme, günlük analitiği ve tıklama akışı analitiği gibi alanlarda operasyonel analitik için verilerinizi neredeyse gerçek zamanlı olarak arama, keşfetme, filtreleme, toplama ve görselleştirme olanağı sunar. Amazon Elasticsearch Service, Elasticsearch’ün kullanımı kolay API'leri ve gerçek zamanlı analitik özelliklerinin yanı sıra üretim iş yüklerinin gerektirdiği erişilebilirliği, ölçeklenebilirliği ve güvenliği sunar.

 

Panolar ve Görselleştirmeler

Amazon QuickSight

Amazon QuickSight, panolar ve görselleştirmeler için tüm tarayıcılardan ya da mobil cihazlardan erişilebilecek etkileyici ve zengin panolar oluşturmanızı kolaylaştıran hızlı, bulut destekli bir analitik hizmeti sağlar.

 

Machine Learning

AWS, tahmine dayalı analitik kullanım örnekleri için data lake’inizi AWS’de çalıştırmaya yönelik birçok makine öğrenimi hizmeti ve araç sunar. Hizmetlerimizin kaynağında, Amazon.com’un öneri altyapılarını, tedarik zincirini, tahmin süreçlerini, yerine getirme merkezlerini ve kapasite planlamasını desteklemek için kullandığımız ML teknolojilerinden edindiğimiz bilgi ve deneyimler yatıyor.  

Framework’ler ve arabirimler

AWS, makine öğrenimi uzmanları ve veri bilimcileri için derin öğrenim modelleri oluşturmanın yanı sıra ML ve DL için optimize edilmiş GPU bulut sunucuları içeren kümeler oluşturmayı kolaylaştıran AWS Deep Learning AMI’leri sağlar. AWS, istediğiniz modelleri getirmenize ve geliştirmenize olanak sağlamak için Apache MXNet, TensorFlow ve Caffe2 dahil, önde gelen tüm machine learning framework'lerini destekler. Bu özellikler, derin öğrenim ve makine öğrenimi iş yüklerinin gerektirdiği eşsiz gücü, hızı ve verimliliği sağlar.

Platform Hizmetleri

Amazon SageMaker, ML teknolojisini derinlikli olarak öğrenmek isteyen geliştiricilere yönelik olarak eğitim verilerinize bağlanmak, en iyi algoritmayı ve framework’ü seçip optimize etmek ve modelinizi Amazon EC2’nin otomatik ölçeklendirilen kümelerine dağıtmak için gereksinim duyduğunuz her şeyi sağlayarak ML modelleri oluşturma, eğitme ve dağıtma sürecinin tamamını kolaylaştıran bir platform hizmetidir. SageMaker, Amazon S3'te depolanan eğitim verilerinizi keşfetmeyi ve görselleştirmeyi kolaylaştırmaya yönelik barındırılan Jupyter Notebook'ları da içerir.

Uygulama Hizmetleri

Uygulamalarına eklenti olarak önceden oluşturulmuş AI işlevleri kazandırmak isteyen geliştiriciler için AWS tarafından görüntü işleme ve doğal dil işleme teknolojilerine yönelik çözüm odaklı API’ler sağlanır. Bu uygulama hizmetleri, geliştiricilerin kendi modellerini geliştirip eğitmek zorunda kalmadan uygulamalarına zeka eklemesine olanak tanır.

AWS, en fazla sayıda data lake ve analitik çözümü oluşturulan platformdur

Data lake’ler ve analitik için neden AWS tercih edilmeli?

Esneklik ve seçenek çokluğu

AWS, verileri açık biçimler ve açık standartlar kullanarak analiz eden analitik araçları ve altyapılar için en geniş seçenek yelpazesini sunar. Verilerinizi CSV, ORC, Grok, Avro ve Parquet gibi standart tabanlı veri biçimlerinden dilediğinizde depolayabilir ve veri ambarı, etkileşimli SQL sorguları, gerçek zamanlı analitik ve büyük veri işleme gibi çeşitli yollarla günün analizini gerçekleştirme esnekliğine sahip olursunuz. AWS’de verilerinizle kullanabileceğiniz analitik hizmetleri konusundaki seçenek çokluğu, hem mevcut hem de gelecekteki kullanım örnekleriniz için gereksinimlerinizin karşılanmasını sağlar.

Eşsiz ölçeklenebilirlik ve erişilebilirlik

Amazon S3, her miktarda verinin eşsiz bir erişilebilirlik düzeyinde depolanıp alınabilmesini sağlayacak ve en başından itibaren %99,999999999 (11 dokuz) dayanıklılık sağlayacak şekilde tasarlanmıştır. Tek veri merkezi kullanmanın yol açabileceği sorunlara karşı eşsiz dayanıklılık için verilerinizi tek bir AWS bölgesindeki üç erişilebilirlik alanında bulunan birden çok veri merkezinde depolayan tek depolama çözümü olmasının yanı sıra verileri tüm bölgeler arasında sorunsuzca çoğaltan tek depolama çözümüdür.

Yüksek oranda güvenli

S3, hesap ve nesne düzeyinde erişim, günlük kaydı ve denetim politikaları uygulamanıza olanak tanıyan tek bulut depolama platformudur. S3 tarafından otomatik sunucu tarafı şifreleme, AWS Key Management Service (KMS) ile yönetilen anahtarlarla şifreleme ve kendi yönettiğiniz anahtarlarla şifreleme olanakları sağlanır. S3, bölgeler arası replikasyon sırasında aktarılan verileri şifreler ve kurum içinden kötü amaçlı kişilerin silmesine karşı korumak amacıyla kaynak ve hedef bölgeler için ayrı hesaplar kullanmanıza olanak tanır. ML destekli bir güvenlik hizmeti olan Amazon Macie, bir saldırının ilk aşamalarını proaktif olarak algılamak için veri erişimi etkinliğinde anormallik olup olmadığını izler ve yetkisiz erişim ya da yanlışlıkla veri sızdırma durumu algıladığında ayrıntılı uyarılar oluşturur.

Uygun maliyetli

En uygun maliyetli data lake’ler AWS’de oluşturulanlardır. Seyrek kullanılan veriler, çok düşük maliyetlerle uzun vadeli yedekleme ve arşivleme olanağı sağlayan Amazon Glacier’a taşınabilir. Amazon S3 yönetim özellikleri, nesne erişim düzenlerini analiz ederek seyrek kullanılan verileri isteğe bağlı olarak ya da yaşam döngüsü politikaları temelinde otomatik olarak Glacier’a taşıyabilir. Amazon Athena ile sorgulanan GB başına yalnızca 0,005 USD’den başlayan fiyatlarla verilerinizi sorgulamaya başlayabilirsiniz. Diğer analitik ve makine öğrenimi hizmetleri, tükettiğiniz kaynaklar için kullandıkça öde yaklaşımıyla fiyatlandırılır.

Hızlı performans

Amazon Redshift ve Amazon Athena gibi AWS analitik hizmetleri, çok sayıda eş zamanlı ve etkileşimli sorgunun desteklenmesi için hızlı etkileşimli sorgu performansı sağlayacak şekilde tasarlanmıştır. Amazon S3 Select ile AWS'nin geniş analitik ve makine öğrenimi hizmetleri portföyü çalıştırılırken, nesnelerdeki verilerin yalnızca gerekli olan alt kümeleri döndürülür ve sorgular çok daha düşük bir maliyet karşılığında %400’e kadar daha hızlı olur. Benzer bir özellik sağlayan Glacier Select, arşivlenmiş verileri daha hızlı almanıza ve data lake’inizde analitik altyapınızı arşiv depolama alanı içerecek şekilde genişletmenize olanak tanır.  

 

En geniş çözüm ortağı ağı

Dünyanın dört bir yanından danışmanlık hizmetleri ve bağımsız yazılım satıcıları dahil olmak üzere on binlerce çözüm ortağının yer aldığı AWS Çözüm Ortağı Ağı (APN), en yakın rakibimizin iki katı çözüm ortağı entegrasyonu içerir. Bu olanak, bugün severek kullandığınız birçok araçla çalışmayı ve bunları entegre etmeyi kolaylaştırır. AWS çözüm mimarları ve çözüm ortakları tarafından geliştirilen Data Lake Quick Starts, birkaç basit adımda güvenlik ve yüksek erişilebilirlik için en iyi AWS uygulamalarını temel alan data lake çözümleri oluşturup bunları test etmenize ve dağıtmanıza yardımcı olur. 

 

AWS'yi kullanmaya başlayın

icon1

AWS hesabı için kaydolun

AWS Ücretsiz Kullanıma anında erişim sağlayın
 
icon2

Birkaç gün içinde güvenli bir data lake oluşturun

AWS Lake Formation hakkında daha fazla bilgi edinin

 
icon3

AWS ile oluşturmaya başlayın

AWS'de data lake'lerin dağıtımı hakkında daha fazla bilgi edinin

 

AWS’de data lake’leri kullanmaya başlayın

AWS Quick Starts ile bir data lake dağıtın
Başka sorunuz mu var?
Bize ulaşın