AWS Lake Formation

Birkaç gün içinde güvenli bir data lake oluşturun

AWS Lake Formation, günler içinde güvenli bir data lake kurmanızı kolaylaştıran bir hizmettir. Data lake, tüm verilerinizi hem orijinal hem de analize hazır halinde depolayan, merkezi, düzenlenmiş ve güvenli bir depodur. Data lake, veri depolarını ortadan kaldırmanızı, öngörü kazanmak ve daha iyi iş kararları vermek için farklı analiz türlerini birleştirmenizi sağlar.

Günümüzde data lake kurmak ve yönetmek birçok manuel, karmaşık ve zaman alan görev içermektedir. Bu görevler çeşitli kaynaklardan veri yüklemeyi, bu veri akışlarını izlemeyi, bölümler ayarlamayı, şifrelemeyi açmayı ve anahtarları yönetmeyi, dönüşüm işlerini tanımlamayı ve işlemlerini izlemeyi, verileri sütun biçiminde organize etmeyi, yedekli verileri tekilleştirmeyi ve bağlantılı kayıtları eşleştirmeyi içerir. Data lake'e veri yüklendikten sonra veri kümelerine ayrıntılı erişim vermeniz, zaman içindeki erişimi çok çeşitli analiz ve makine öğrenimi (ML) araçları, hizmetleri genelinde denetlemeniz gerekir.

Lake Formation ile data lake oluşturmak veri kaynaklarını, hangi erişim ve güvenlik politikalarını uygulamak istediğinizi tanımlamak kadar basittir. Daha sonra Lake Formation, veritabanlarından ve nesne depolarından veri toplamanıza ve kataloglamanıza, veriyi yeni Amazon Simple Storage Service (S3) data lake'inize taşımanıza, makine öğrenimi algoritmalarını kullanarak verilerinizi temizlemenize ve sınıflandırmanıza ve sütun, satır ve hücre düzeylerinde ayrıntılı denetimler kullanarak hassas verilerinize erişimi güvenli hale getirmenize yardımcı olur. Kullanıcılarınız, mevcut veri kümelerini ve uygun kullanımlarını tanımlayan merkezi bir veri kataloğuna erişebilir. Kullanıcılar daha sonra bu veri kümelerini Amazon Redshift, Amazon Athena, Apache Spark için Amazon EMR ve Amazon QuickSight gibi tercih ettikleri analiz ve makine öğrenimi hizmetleriyle birlikte kullanabilir. Lake Formation, AWS Glue'daki özellikler temel alınarak oluşturulur.

AWS re:Invent 2018 - Announcing AWS Lake Formation (2:44)

Avantajlar

Data lake’leri hızla oluşturun

Lake Formation'da, verilerinizi daha hızlı taşıyabilir, depolayabilir, kataloglayabilir ve temizleyebilirsiniz. Veri kaynaklarınızı Lake Formation'a yönlendirin. Lake Formation bu kaynakları taradıktan sonra verileri yeni Amazon S3 data lake'inize taşır. Lake Formation, verimliliği artırmak için S3'teki verileri sıklıkla kullanılan sorgu koşullarına göre ve doğru boyutlu öbekler halinde organize eder. Ayrıca, daha hızlı analiz için verileri Apache Parquet ve ORC gibi formatlara dönüştürür. Lake Formation'ın aynı zamanda, veri kalitesini artırmak için eşleşen kayıtları (aynı şeye işaret eden iki girdi) tekilleştirmek ve bulmak amacıyla yerleşik makine öğrenimi vardır.

Güvenlik yönetimini basitleştirin

Lake Formation, verilerinize erişen tüm kullanıcı ve hizmetler için tablo, sütun, satır ve hücre düzeyinde işlev gösteren erişim denetimlerinin tek bir yerden tanımlanmasına ve uygulanmasına olanak tanır. Politikalarınız tutarlı şekilde uygulanarak AWS Identity and Access Management (IAM) ve AWS Key Management Service (KMS) gibi güvenlik hizmetlerini, S3 ve analiz gibi depolama hizmetlerini ve Redshift, Athena, AWS Glue ve Apache Spark için EMR gibi makine öğrenimi hizmetlerini manuel olarak yapılandırma ihtiyacını ortadan kaldırır. Bu, hizmetlerde politikaları yapılandırma çabalarını azaltır, tutarlı uygulama ve uygunluk sağlar.

Verilere self servis erişim sağlayın

Lake Formation'da, mevcut farklı veri kümeleri ile bunlara hangi kullanıcı gruplarının erişimi olduğunu tanımlayan bir veri kataloğu oluşturursunuz. Bu, kullanıcılarınıza analiz etmeleri için doğru veri kümelerini bulmalarına yardımcı olarak onları daha verimli hale getirir. Lake Formation, tutarlı güvenlik uygulamasıyla verilerinizin bir kataloğunu sağlayarak analist ve veri bilimcilerinizin tercih ettikleri analiz hizmetlerini kullanmalarını kolaylaştırır. Artık tek bir data lake'te bulunan farklı veri kümelerinde Apache Shark için EMR, Redshift, Athena, AWS Glue ve Amazon QuickSight kullanabilirler. Kullanıcılar ayrıca verileri depolar arasında taşımak zorunda kalmadan bu hizmetleri birleştirebilir.

Nasıl çalışır?

Nasıl Çalışır?

Lake Formation, data lake'inizi oluşturmanıza, güvenli hale getirmenize ve yönetmenize yardımcı olur. Öncelikle S3 veya ilişkisel ve NoSQL veritabanlarındaki mevcut veri depolarını tanımlayın ve verileri data lake’nize taşıyın. Sonra verileri tarayın, kataloglayın ve analize hazırlayın. Ardından, kullanıcılarınıza kendi tercih ettikleri analiz hizmetleri aracılığıyla verilere güvenli self servis erişim imkanı sağlayın. Diğer AWS hizmetleri ve üçüncü taraf uygulamaları da gösterilen hizmetler aracılığıyla verilere erişebilir. Lake Formation, turuncu kutudaki tüm görevleri yönetir ve mavi kutularda gösterilen veri depoları ve hizmetleri ile entegredir.

Kullanım örnekleri

Data lake'leri hızla oluşturun

Verilerinizi daha hızlı bir şekilde taşımak, depolamak, kataloglamak, temizlemek ve organize etmek için Lake Formation'daki şemaları kullanın. Daha hızlı analiz için verileri Parquet ve ORC gibi biçimlere dönüştürün ve eşleşen kayıtları tekilleştirmek ve bulmak için yerleşik makine öğrenimini kullanın. Yeni bir Amazon S3 tablo türü olan Governed Tables'ı kullanarak verileri depolama ve verilere bakım uygulama süreçlerinizi basitleştirin. Governed Tables, çakışmaları otomatik olarak yöneten ve tüm kullanıcılar için tutarlı veri görünümleri sağlayan ACID (atomik, tutarlı, yalıtılmış ve dayanıklı) işlemlerini kullanır. Governed Tables ayrıca, Governed Tables sorgulaması sırasında altyapı performansını artırmak için verilerinizi izler ve otomatik olarak optimize eder.

Erişim denetimlerini merkezi olarak tanımlayın ve yönetin

Lake Formation, Amazon S3'teki veriler için ayrıntılı izinlerin tek bir yerden tanımlanması, sınıflandırılması, etiketlenmesi ve yönetilmesini sağlar. Hiyerarşik bir etiket listesi tanımlayabilir; veritabanlarına, tablolara ve sütunlara etiketler tayin edebilir; sütun ve hücre düzeyinde güvenliği yapılandırabilirsiniz.

Veri sınıflandırması ve ayrıntılı erişim uygulayın

Lake Formation, veri erişim denetimleri yapılandırmaya gerek kalmadan tüketim hizmetlerinin her birinde politikaları uygular. Lake Formation, verileri otomatik olarak filtreler ve verileri yineleme ihtiyacı olmadan yetkili kullanıcılara yalnızca tanımlanmış politika tarafından izin verilen verileri gösterir.

Sürekli veri yönetimi, zaman yolculuğu ve depolama optimizasyonu sağlayın

Toplu verilerin ve akış verilerinin güncellenmesinde data lake güvenilirliğini artırın. Eski veri sürümlerinde sorgulama yapın ve değişen verileri denetleyin. Veri taramalarını azaltmak ve sorgu performansını iyileştirmek için küçük dosyaları otomatik olarak sıkıştırın ve aşağı itme filtrelerini etkinleştirin.

Hesaplar arası paylaşım içeren birleştirilmiş data lake'leri mümkün kılın

Minimum düzeyde veya sıfır veri taşıma ile iyi yönetilen veri paylaşımı kullanarak kuruluşunuz genelinde merkezi olmayan, alan odaklı veri ürünleri sunun.

Daha fazla bilgi için "Data lake nedir?" bölümüne başvurun.

Müşteriler

Nu Skin

Nu Skin Enterprises, kişisel bakım ve besin takviyesi kategorilerinde 200'den fazla yüksek kaliteli yaşlanma karşıtı ürünün dağıtımını yapan bir küresel doğrudan satış şirketidir.

"Mevcut analiz sistemlerimizin büyüme özelliği ve buna göre ölçeklenen aktarım hızı ile ilgili zorluklar yaşadık. Verilerimiz çeşitli bağlantısı kesik veritabanları ve SaaS çözümleri arasında dağıtılarak hassas verilere erişimi sınırlandırırken verileri uygun ölçekte analiz etmeyi zorlaştırmıştır. Bu zorluğun üstesinden gelmek için AWS'de bir data lake çözümü oluşturduk. Bu, AWS Lake Formation'ı kullanarak verileri çeşitli veri depolarından almamızı ve tüm verileri kataloglayıp güvenli hale getirdiğimiz Amazon S3'te toplamamızı sağladı. AWS Lake Formation olmadan Amazon S3'teki tüm veriler için ölçeklenebilir, kullanımı kolay bir güvenlik katmanı elde etmek imkansız olurdu. Kullanıcı kişiliklerine dayalı ayrıntılı erişim denetimleri ayarlamak ve uygulamak kolay oldu."

Joe Sueper, Kurumsal Mimari Başkan Yardımcısı, Küresel Teknoloji Hizmetleri - Nu Skin Enterprises

Panasonic

Panasonic Avionics Corporation, dünyanın lider uçak içi eğlence ve iletişim sistemleri sağlayıcısıdır.

“Ortamımızdaki tüm farklı uygulamalar için güvenlik ayarlarını yönetme becerisine sahip bir veri platformu oluşturmak istedik. AWS Lake Formation ile artık politikaları bir kez tanımlayabiliyor ve AWS Glue ve Amazon Athena dâhil olmak üzere kullandığımız birden fazla hizmet için her yerde aynı şekilde uygulayabiliyoruz. Gelişmiş denetim seviyesi yalnızca toplu nesneler için değil hem sütunlar hem de tablolar için verilere ve meta verilere güvenli erişim sağlıyor ki bu da veri güvenliğimiz ve yönetişim standardımızın önemli bir parçası."

Anand Desikan, Bulut ve Veri Hizmetleri Direktörü - Panasonic Avionics

Accenture

Accenture; strateji, danışmanlık, dijital ortam, teknoloji ve operasyonlar alanında çok farklı türde hizmetler ve çözümler sağlayan, dünyanın önde gelen profesyonel hizmetler şirketlerinden biridir.

"Müşterilere 'Bulutta Veri' yolculuklarında yardım etmeye yoğunlaşıyorum. Buna özel olarak birden fazla kaynaktan gelen veriler üzerinde analiz gerçekleştirme ihtiyacı duyduklarında güvenilir veri eksikliği ile uğraşmak zorunda olduklarını gördük. Veri temizlemesi, veri analizinde kritik bir adımdır ve iş sonucunu ve karar almayı önemli oranda etkileyebilir. AWS Lake Formation’daki yeni özellikler, veri doğruluğu ve data lake’e erişimi güvenli hale getirme zorlukları ile baş etmede büyük oranda faydalıydı. Eşleşen kayıtları bulmak ve farklı veri kaynaklarından verilerin temizlenmesi ve tekilleştirilmesi için gelişmiş makine öğrenimi tekniklerinden yararlanmayı olağanüstü bir şekilde kullanışlı bulduk. Bu, müşterinin data lakelerindeki verilerin kalitesi ve doğruluğunu artırırken harcanan zamanın, çabanın ve maliyetin azaltılmasına yardımcı olacak."

Namrata Maheshwary, Veri İş Grubu Kıdemli Mimarı - Accenture

Zalando

Zalando, Avrupa’nın moda ve yaşam tarzı için lider çevrimiçi platformudur.

"Avrupa’nın en modaya uygun teknoloji şirketi olarak moda yolculuğunun her yönüne yönelik dijital çözümler bulmak için sıkı çalışıyoruz. AWS Lake Formation, Amazon Redshift aracılığıyla veri erişimi için bize ölçeklenebilir bir merkezi kontrol noktası verdi; bu da yalnızca süreci basitleştirmekle kalmadı aynı zamanda verimizin nasıl kullanıldığı konusunda ayrıntılı denetim aracılığıyla süreci iyileştirdi. Artık tercih ettiğimiz araçlar ile data lake’mizdeki verileri keşfedebilir, erişebilir ve analiz edebiliriz ve iş zekası ve veri bilimi için ondan yararlanabiliriz. Kolaylaştırılmış iş akışı, yöneticilerimizin zamanında doğru kararları almasına yardımcı olur ve makine öğrenimi aracılığıyla yeniliği teşvik eder."

Alberto Miorin, Mühendislik Lideri - Zalando SE

Life360

Life360, aileler için dünyanın önde gelen rahatlık hizmetidir. Life360 uygulaması, en değer verdiklerinizi korumak ve onlarla bağlantı kurmak için tasarlanmış akıllı özellikler ile aileleri yakınlaştırır.

"AWS Lake Formation'ı, konum odaklı zaman serisi verilerini desteklemek ve veri yüklemeyi çok daha kolay hale getirebilmek için data lake oluşturmak amacıyla kullanmak istedik. Önceden oluşturulmuş şemalar, veri mühendisliği ekibimizin, sıfırdan kod yazmaya gerek olmadan verileri data lake'e taşımasına yardımcı oldu. Veri mühendisliği ekibimiz bu sayede, zaten var olan bir şeyi oluşturmak yerine alımı işlevsel hale getirmeye odaklanabiliyor. AWS Lake Formation sayesinde, Amazon S3'te var olan verileri hızlıca erişime açabiliyor ve çok çeşitli AWS veri hizmetlerinde analiz etmek üzere erişilebilir hale getirebiliyoruz. Veriler Amazon S3'te kalıyor, birçok farklı yolla bunları analiz edebiliyoruz ve üzerlerinde tam kontrolü sağlıyoruz."

Richard Chennault, Bulut ve Veri Hizmetleri Başkanı - Life360, Inc.

Change Healthcare

Change Healthcare, yaklaşık 2.100 resmi ve ticari ödeme gerçekleştiren bağlantı, 5.500 hastane, 900.000 doktor ve 33.000 eczaneye ulaşan veri ve analiz destekli çözümler sağlayan önde gelen bağımsız bir sağlık teknolojisi şirketidir.

"HIPAA dâhil olmak üzere sağlık sektörü düzenlemelerine uyumu sürdürürken günlük olarak milyonlarca işlemden gelen veriler ile çalışıyoruz. Operasyonel yükümüzü son derece azaltarak binlerce istemciden AWS temelli data lake'lere kolayca veri yüklemek, temizlemek, korumak ve kataloglamak için bir merkezi denetim noktası sağlayan AWS Lake Formation'ı kullanmaya başlayacağımız için çok heyecanlıyız. Lake Formation'daki veri erişimi denetimleri, politikalarımızı bir kere tanımlamamızı ve uygunluk sağladığımızı gösteren denetim günlükleriyle birlikte, kullandığımız tüm analiz ve makine öğrenimi hizmetlerinde bu politikaların uygulanmasını kolaylaştıracak."

Aaron Symanski, CTO - Change Healthcare

Fender Digital

Fender Digital, ikonik gitar markası Fender'ın bir parçası ve Fender'ın ürettiği gitar, amfi ve ses ekipmanlarını tamamlayan destekleyici uygulamalar, web siteleri, platformlar ve araçlar üretiyor.

"Dijital uygulamalarımız ve cihazlarımızdan tonlarca kullanıcı ve kullanım verisi oluşturuyoruz. Amazon Redshift temelli veri ambarımızla birlikte çalıştırmak için AWS'de bir data lake oluşturmayı planlıyoruz. Ekibimizin AWS Lake Formation ile çalışmaya başlamasını dört gözle bekliyorum. Lake Formation, geniş bir yelpaze AWS hizmetlerinde verilerimizi yüklemeyi, dönüştürmeyi ve kataloglamayı kolaylaştıracak ve kurumlarımızda güvenli bir şekilde erişilebilir hale getirecektir. Lake Formation gibi kurumsal kullanıma hazır bir seçenek sayesinde, data lake'imizi manuel olarak kurup yönetmeyle ilgili ağır işler yerine verilerimizden değer elde etmeye daha fazla zaman ayırabileceğiz."

Joshua Couch, Mühendislik Başkan Yardımcısı - Fender Digital

Cloudreach

Geçiş ve yönetim yazılım platformu Cloudamize ile çıtayı yükselten Cloudreach, veriye dayalı karar verme sürecine basitlik ve tam güven getirdi.

"AWS Lake Formation, data lake'i demokratikleştiriyor ve kurumsal veri stratejisi için bir hızlandırma noktası oluşturuyor. AWS Lake Formation, yönetimi kolaylaştırıp operasyonel iş yükünü azaltarak hizmetlerin güvenlik ve yönetişimini merkezileştiriyor. Kurum genelinde verileri entegre etme sürecinin hızlandırılması, makine öğrenimi gibi diğer veri girişimlerin daha büyük iş değeri kazandırmasını sağlıyor."

Kevin Davis, AWS Uygulama CTO'su - Cloudreach

Amgen

Amgen, dünyanın en büyük bağımsız biyoteknoloji şirketidir.

"Amgen'de, üç yılı aşkın süredir Amazon Redshift ve Amazon EMR kümelerini yoğun şekilde kullanıyoruz. Her AWS hesabı, hizmeti, kullanıcısı ve veri kümesine gereken ayrıntı düzeyinde güvenlik ve erişim denetimi ayarlamak zahmetli olabilir. AWS Lake Formation, merkezi bir denetim noktası ile süreci kolaylaştırıyor ve aynı zamanda ayrıntılı bir şekilde verilerimizin kim tarafından ve nasıl kullanıldığını yönetmemizi sağlıyor. Bir veritabanında verilerdeki izinleri yönettiğimiz gibi AWS Lake Formation da Amazon S3’teki izinleri yönetmemizi sağlar. Kullanıcılarımız, tercih ettikleri araçlar ile ihtiyaç duydukları verileri bulabilecek, o verilere erişebilecek ve analiz edebileceklerdir. Bu yeni iş akışı, Amgen'in verilerini kullanırken herkesi daha verimli hale getirecek."

Kerby Johnson, Kurumsal Data Lake Ürün Sahibi - Amgen

Alcon

Alcon, hayat değiştiren görme ve göz bakım ürünleri inovasyonunda ve geliştirilmesinde bir liderdir.

"Birçok şirket gibi erişilemez veri depolarına sahip olmaktan kurtulmak için data lake girişimimizi başlattık. AWS Lake Formation ile, hızlı bir şekilde mevcut Amazon S3 klasörlerine erişim verebiliyor, içlerinde ne olduğunu ve bunların nasıl kullanılabileceğini tanımlayabiliyoruz. Veriler, S3'te kalıyor ancak diğer kullanımlar için bunların üzerinde tam denetime sahibiz."

Srinivas Ravilisetty, BT Analizi Lideri - Alcon

Quantiphi

Quantiphi, karmaşık iş sorunlarını çözme isteği ile hareket eden ve hem yapay zeka hem de büyük veri konusunda yazılım ve hizmet sunan bir şirkettir. Quantiphi, müşteriler için ölçülebilir değer sunma amacıyla data lake'ler ve yapay zeka çözümleri oluşturma konusunda uzmanlaşmıştır.

"AWS Lake Formation, ilgili verilere erişimi olan güvenli bir data lake'i günler içinde sunmamızı sağlıyor. Artık müşterilerimiz için her iki dünyanın da en iyi yönlerini sunma becerisine sahibiz: tam güvenlik ve veri kullanıcılarının karar sürecini kolaylaştırmak için ilgili verilere basitleştirilmiş erişim. Müşterilerimiz, güçlü ve merkezi bir veri kaynağından yararlanarak daha akıllı, analiz temelli iş kararları almaya odaklanabilir."

Arnav Gupta, AWS Uygulama Lideri - Quantiphi

Curvo Labs

Curvo, özellikle sağlık hizmetleri tedarik zincirine yoğunlaşmış bir hizmet olarak yazılım şirketidir. Ayrıntılı alan uzmanlığı ve çevik geliştirme uygulamaları ile şirket, sağlık hizmetlerinde harcama yönetimini daha hızlı ve kolay hale getirmek için analiz, iş akışı ve otomasyon sağlıyor.

"Veri normalleştirme, klinik ve tıbbi ürünler için fiyatlandırma verilerini karşılaştırmaya şeffaflık getirerek daha iyi hasta sonuçları sağlamak üzere atılan kritik bir adımdır. AWS Lake Formation'da Makine Öğrenimi Dönüşümleri kullanarak artık veri kümelerini bir haftada değil dört saatte işliyoruz ve doğruluk oranımız neredeyse %100'e ulaştı. Bu hız ve doğruluk, sağlık hizmeti müşterilerimizin pazar değişikliklerine hızla yanıt vermesini sağlayarak hasta sonuçları konusunda bir kayba uğramadan daha uygun maliyetli bakım sağlamalarını mümkün kılıyor. Rakiplerimizin 4-6 haftada yaptığını bir günde sağlayabiliyoruz."

Nic Sagez, CTO - Curvo

Yenilikler

tarih
  • tarih
1
Standard Product Icons (Features) Squid Ink
AWS Lake Formation özellikleri hakkında daha fazla bilgi edinin

Özellikler sayfasını ziyaret ederek AWS Lake Formation özellikleri hakkında daha fazla bilgi edinin.

Daha fazla bilgi edinin 
Sign up for a free account
Bir hesap için kaydolun

AWS Ücretsiz Kullanımı için anında erişim elde edin. 

Kaydolun 
Standard Product Icons (Start Building) Squid Ink
Konsolda oluşturmaya başlayın

AWS Management Console’da AWS Lake Formation ile oluşturmaya başlayın.

Oturum açın