AWS Lake Formation

Birkaç gün içinde güvenli bir data lake oluşturun

AWS Lake Formation günler içinde güvenli bir data lake kurmanızı kolaylaştıran bir hizmettir. Bir data lake, tüm verilerinizi hem orijinal halinde hem de analize hazır halinde depolayan, merkezi, özenle seçilmiş ve güvenli bir depodur. Bir data lake, veri silolarını ayırmanızı ve öngörü kazanmak ve daha iyi iş kararları vermek için farklı türden analiz türlerini birleştirmenizi sağlar.

Ancak, bugünlerde data lake kurmak ve yönetmek bir çok manuel, karmaşık ve zaman alan işler içerir. Bu iş çeşitli kaynaklardan veri yüklemeyi, bu veri akışlarını izlemeyi, bölümler ayarlamayı, şifrelemeyi açmayı ve anahtarları yönetmeyi, dönüşüm işlerini tanımlamayı ve işlemlerini izlemeyi, verileri sütun biçiminde organize etmeyi, erişim kontrol ayarlarını yapılandırmayı yedekli verileri tekilleştirmeyi, bağlantılı kayıtları eşleştirmeyi, veri setlerine erişim sağlamayı ve zaman içinde erişimi denetlemeyi içerir.

Lake Formation ile data lake oluşturmak veri kaynaklarını ve hangi erişim ve güvenlik politikalarını uygulamak istediğinizi tanımlamak kadar basittir. Daha sonra Lake Formation, veritabanlarından ve nesne depolamalarından veri toplamanıza ve kataloglamanıza, veriyi yeni Amazon S3 data lake’inize taşımanıza, makine öğrenimi algoritmalarını kullanarak verilerinizi temizlemenize ve sınıflandırmanıza ve hassas verilerinize erişimi güvenli hale getirmenize yardımcı olur. Kullanıcılarınız, mevcut veri kümelerini ve uygun kullanımlarını tanımlayan merkezi bir veri kataloğu’na erişebilir. Sonra kullanıcılarınız bu veri kümelerinden Amazon Redshift, Amazon Athena ve (beta sürümünde) Amazon EMR for Apache Spark gibi kendi seçimleri olan analiz ve makine öğrenimi hizmetlerinden yararlanırlar. Lake Formation, AWS Glue’da bulunan mevcut özellikler üzerine oluşturur.

AWS re:Invent 2018 - AWS Lake Formation Duyurusu (2:44)

Yakında: AWS Lake Formation’da yeni özellikler


AWS Lake Formation’da üç yeni özelliğin önizlemesi için kaydolun: İşlemler, Satır Düzeyi Güvenlik ve Hızlandırma.

Bilgi alın »

Avantajlar

Data lake’leri hızla oluşturun

Lake Formation ile verinizi daha hızlı taşıyabilir, depolayabilir, kataloglayabilir ve temizleyebilirsiniz. Veri kaynaklarınızı Lake Formation’a yöneltin ve Lake Formation bu kaynaklarda gezindikten sonra verileri yeni Amazon S3 data lake’nize taşır. Lake Formation, verimliliği arttırmak için S3’deki verileri sıklıkla kullanılan sorgu koşulları etrafında ve doğru boyutlu öbeklerde organize eder. Ayrıca Lake Formation, daha hızlı analiz için verileri Apache Parquet ve ORC gibi formatlara dönüştürür. Ek olarak, Lake Formation’ın veri kalitesini arttırmak için eşleşen kayıtları (aynı şeye işaret eden iki girdi) tekilleştirmek ve bulmak amacıyla yerleşik makine öğrenimi vardır.

Güvenlik yönetimini basitleştirir

Görevleri hizmet başına gerçekleştirmektense merkezi olarak tek bir noktada güvenliği, yönetimi ve politikaların denetimini tanımlamak ve sonra bu politikaları analiz uygulamalarında kullanıcılarınıza uygulamak için Lake Formation kullanın. Politikalarınız devamlı olarak uygulanarak AWS Identity and Access Management ve AWS Key Management Service gibi güvenlik hizmetlerini ve S3 ve analiz gibi depolama hizmetlerini ve Redshift, Athena ve (beta sürümünde) EMR for Apache Spark gibi makine öğrenimi hizmetlerini manuel olarak yapılandırma ihtiyacını ortadan kaldırır. Bu, hizmetlerde politikaları yapılandırma çabalarını azaltır ve devamlı uygulama ve uyumluluk sağlar.

Verilere self servis erişim sağlayın

Lake Formation ile mevcut olan farklı veri kümeleri ile hangi kullanıcı gruplarının erişimi olduğunu tanımlayan bir veri kataloğu oluşturursunuz. Bu, kullanıcılarınıza analiz etmeleri için doğru veri kümelerini bulmalarına yardımcı olarak onları daha verimli hale getirir. Devamlı güvenlik uygulaması ile verilerinizin bir kataloğunu sağlayarak Lake Formation, analistleriniz ve veri bilimcilerinizin tercih ettikleri analiz hizmetlerini kullanmalarını kolaylaştırır.
Artık tek bir data lake’de bulunan farklı veri kümelerinde EMR for Apache Shark (beta sürümünde), Redshift veya Athena kullanabilirler. Kullanıcılar ayrıca verileri silolar arasında taşımak zorunda kalmadan bu hizmetleri birleştirebilir.

Nasıl çalışır?

AWS Lake Formation Nasıl Çalışır

Lake Formation, data lake’nizi oluşturmanıza, güvenli hale getirmenize ve yönetmenize yardım eder. Öncelikle S3 veya ilişkisel ve NoSQL veritabanlarındaki mevcut veri depolarını tanımlayın ve verileri data lake’nize taşıyın. Sonra verileri tarayın, kataloglayın ve analize hazırlayın. Sonra kullanıcılarınıza kendi tercih ettikleri analiz hizmetleri aracılığıyla verilere güvenli self servis erişim sağlar. Diğer AWS hizmetleri ve üçüncü taraf uygulamalar da gösterilen hizmetler aracılığıyla verilere erişebilir. Lake Formation turuncu kutudaki tüm görevleri yönetir ve mavi kutularda gösterilen veri depoları ve hizmetleri ile entegredir.

Kullanım örnekleri

"Data Lake Nedir?" konusu ve kullanım örnekleri hakkında daha fazlasını okuyun.

Müşteriler

Nu Skin

Nu Skin Enterprises, hem kişisel bakım hem de ek besinler kategorilerinde 200’den fazla yüksek kalitede yaşlanma karşıtı ürünler dağıtan bir küresel doğrudan satış şirketidir.

"Mevcut analiz sistemlerimizin büyüyen özelliği ve ölçeklenen aktarım hızı ile zorluklar yaşadık. Verilerimiz çeşitli bağlantısı kesik veritabanları ve SaaS çözümleri arasında dağıtılarak hassas verilere erişimi sınırlandırırken verileri uygun ölçekte analiz etmeyi zorlaştırmıştır. Bu zorluğun üstesinden gelmek için AWS’de bir data lake çözümü oluşturduk. Bu çeşitli veri silolarından verileri AWS Lake Formation kullanarak tüm verileri kataloglayıp güvenli hale getirdiğimiz Amazon S3’te toplamamızı sağladı. AWS Lake Formation olmadan Amazon S3’deki tüm veriler için ölçeklenebilir, kullanımı kolay bir güvenlik katmanı elde etmek imkansız olurdu. Diğer kullanıcı kişiliklerine dayalı ayrıntılı erişim kontrolleri kurmak ve uygulamak kolaydı."

Joe Sueper, Kurumsal Mimari Başkan Yardımcısı, Küresel Teknoloji - Nu Skin Enterprises

Panasonic

Panasonic Avionics Corporation, dünyanın lider uçak içi eğlence ve iletişim sistemleri sağlayıcısıdır.

“Ortamımızdaki tüm farklı uygulamalar için güvenlik ayarlarını yönetme becerisine sahip bir veri platformu oluşturmak istedik. AWS Lake Formation ile artık politikaları bir kez tanımlayabiliyor ve AWS Glue ve Amazon Athena dâhil olmak üzere kullandığımız birden fazla hizmet için her yerde aynı şekilde uygulayabiliyoruz. Gelişmiş kontrol seviyesi yalnızca toplu nesneler için değil sütunlar ve tablolar için veriler ve meta verilere güvenli erişim sağlıyor ki bu da veri güvenliğimiz ve idare standardımızın önemli bir parçasıdır.”

Anand Desikan, Bulut ve Veri Hizmetleri Direktörü - Panasonic Avionics

Accenture

Accenture; strateji, danışmanlık, dijital ortam, teknoloji ve operasyonlar alanında çok farklı türde hizmetler ve çözümler sağlayan, dünyanın önde gelen profesyonel hizmetler şirketlerinden biridir.

“Müşterilere ‘Bulutta Veri’ yolculuklarında yardım etmeye yoğunlaşıyorum. Buna özel olarak birden fazla kaynaktan gelen veriler üzerinde analiz gerçekleştirme ihtiyacı duyduklarında güvenilir veri eksikliği ile uğraşmak zorunda olduklarını gördük. Veri temizlemesi, veri analizinde kritik bir adımdır ve iş sonucunu ve karar almayı önemli oranda etkileyebilir. AWS Lake Formation’daki yeni özellikler, veri doğruluğu ve data lake’e erişimi güvenli hale getirme zorlukları ile baş etmede büyük oranda faydalıydı. Eşleşen kayıtları bulmak ve farklı veri kaynaklarından verilerin temizlenmesi ve tekilleştirilmesi için gelişmiş makine öğrenimi tekniklerinden yararlanmayı olağanüstü bir şekilde kullanışlı bulduk. Bu müşterinin data lake’lerindeki verilerin kalitesi ve doğruluğunu artırırken harcanan zamanın, çabanın ve maliyetin azaltılmasına yardımcı olacak.”

Namrata Maheshwary, Veri İş Grubu Kıdemli Mimarı - Accenture

Zalando

Zalando, Avrupa’nın moda ve yaşam tarzı için lider çevrimiçi platformudur.

"Avrupa’nın en modaya uygun teknoloji şirketi olarak moda yolculuğunun her yönüne yönelik dijital çözümler bulmak için sıkı çalışıyoruz. AWS Lake Formation, Amazon Redshift aracılığıyla veri erişimi için bize ölçeklenebilir bir merkezi kontrol noktası verdi; bu da yalnızca süreci basitleştirmekle kalmadı aynı zamanda verimizin nasıl kullanıldığı konusunda ayrıntılı denetim aracılığıyla süreci iyileştirdi. Artık tercih ettiğimiz araçlar ile data lake’mizdeki verileri keşfedebilir, erişebilir ve analiz edebiliriz ve iş zekası ve veri bilimi için ondan yararlanabiliriz. Kolaylaştırılmış iş akışı yöneticilerimizin zamanında doğru kararları almasına yardım eder ve makine öğrenimi aracılığıyla yeniliği teşvik eder."

Alberto Miorin, Mühendislik Lideri - Zalando SE

Life360

Life360, aileler için dünyanın önde gelen rahatlık hizmetidir. Life360 uygulaması, en değer verdiklerinizi korumak ve onlarla bağlantı kurmak için tasarlanmış akıllı özellikler ile aileleri yakınlaştırır.

"AWS Lake Formation’ı, konum odaklı zaman serisi verileri desteklemek ve veri yüklemeyi çok daha kolay hale getirebilmek için data lake oluşturmak amacıyla kullanmak istedik. Önceden oluşturulmuş şemalar verileri, veri mühendisliği ekibimizin zaten var olan bir şeyi oluşturarak zaman kaybetmek yerine alımı işlevselleştirmeye odaklanmalarını sağlamak için onların sıfırdan kod yazmasına gerek duyulmaksızın data lake’e taşımaya yardımcı olur. AWS Lake Formation ile Amazon S3’te mevcut olan verileri hızlıca erişime açabiliyor ve geniş bir yelpaze AWS veri hizmetlerinde analiz etmek üzere erişilebilir hale getirebiliyorduk. Veriler Amazon S3’te kalır, birçok farklı yolla bunları analiz edebiliriz ve üzerlerinde tam kontrolü sağlarız."

Richard Chennault, Bulut ve Veri Hizmetleri Başkanı- Life360, Inc.

Change Healthcare

Change Healthcare, yaklaşık 2.100 resmi ve ticari ödeme gerçekleştiren bağlantı, 5.500 hastane, 900.000 doktor ve 33.000 eczaneye ulaşan veri ve analiz destekli çözümler sağlayan önde gelen bağımsız bir sağlık teknolojisi şirketidir.

"HIPAA dâhil olmak üzere sağlık sektörü düzenlemelerine uyumu sürdürürken günlük olarak milyonlarca işlemden gelen veriler ile çalışıyoruz. İşlemsel yükümüzü son derece azaltarak binlerce istemciden AWS temelli data lake’lere kolayca veri yüklemek, temizlemek, korumak ve kataloglamak için bir kontrol merkez noktası sağlayan AWS Lake Formation’ı piyasaya süreceğimiz için çok heyecanlıyız. Lake Formation’daki veri erişimi denetimleri, politikalarımızı tanımlamamızı ve uyumluluk göstermek için denetim günlükleri ile kullandığımız tüm analiz ve makine öğrenimi hizmetlerinde uygulanmasını kolaylaştıracaktır."

Aaron Symanski, CTO - Change Healthcare 

Fender Digital

Fender Digital; uygulamaların, web sitelerinin, platformların ve araçların Fender’ın ürettiği gitarlar, amfiler ve ses ekipmanları ile uyuşmasını sağlayan ikonik gitar markası olan Fender’in bir parçasıdır.

"Dijital uygulamalarımız ve cihazlarımızdan tonlarca kullanıcı ve kullanım verisi oluşturuyoruz. Amazon Redshift temelli veri ambarının yanı sıra işletmek için AWS’de bir data lake oluşturmayı planlıyoruz. Ekibimizin AWS Lake Formation ile çalışmaya başlamasını dört gözle bekliyorum. Lake Formation, geniş bir yelpaze AWS hizmetlerinde verilerimizi yüklemeyi, dönüştürmeyi ve kataloglamayı kolaylaştıracak ve kurumlarımızda güvenli bir şekilde erişilebilir hale getirecektir. Lake Formation gibi kurumsal kullanıma hazır bir seçenek sayesinde data lake’imizi manuel olarak kurup yönetirken ağır işleri yapmak yerine verilerimizden değer çıkarmaya daha fazla zaman ayırabileceğiz."

Joshua Couch, Mühendislik Başkan Yardımcısı - Fender Digital

Cloudreach

Geçiş ve yönetim yazılım platformu ile donatılmış Cloudamize, Cloudreach veriye dayalı karar verme sürecine basitlik ve tam güven getirmektedir.

"AWS Lake Formation data lake’i demokratize etmekte ve kurumsal veri stratejisi için bir hızlandırma noktası oluşturmaktadır. AWS Lake Formation, yönetimi kolaylaştırıp operasyonel iş yükünü azaltarak hizmetlerin güvenlik ve yönetimini merkezileştirir. Kurumda siloları silme sürecinin hızlanması makine öğrenimi gibi diğer girişimlerin daha büyük iş değeri kazandırmasını sağlar."

Kevin Davis, CTO AWS Practice - Cloudreach

Amgen

Amgen, dünyanın en büyük bağımsız biyoteknoloji şirketidir.

"Amgen’de üç yılı aşkın süredir Amazon Redshift’in yoğun kullanıcıları olduk ve Amazon EMR kümelerine sahibiz. Her AWS hesabı, hizmeti, kullanıcı ve veri kümesine gereken ayrıntı düzeyinde güvenlik ve erişim kontrolü ayarlamak zahmetli olabilir. AWS Lake Formation, merkezi bir kontrol noktası ile süreci kolaylaştırır ve aynı zamanda ayrıntılı bir şekilde verilerimizin kim tarafından ve nasıl kullanıldığını yönetmemizi sağlar. Bir veritabanında verilerdeki izinleri yönettiğimiz gibi AWS Lake Formation da Amazon S3’teki izinleri yönetmemizi sağlar. Kullanıcılarımız, tercih ettikleri araçlar ile ihtiyaç duydukları verileri bulabilecek, o verilere erişebilecek ve analiz edebileceklerdir. Bu yeni iş akışı, Amgen’in verilerini kullanırken herkesi daha verimli hale getirecek."

Kerby Johnson, Kurumsal Data Lake Ürün Sahibi - Amgen

Alcon

Alcon, hayat değiştiren görme ve göz bakım ürünleri inovasyonunda ve geliştirilmesinde bir liderdir.

"Birçok şirket gibi erişilemez veri silolarına sahip olmaktan kurtulmak için data lake girişimimizi başlattık. AWS Lake Formation ile hızlı bir şekilde mevcut Amazon S3 klasörlerine erişim ekleyebilir ve içlerinde ne olduğunu ve nasıl kullanılabileceğini tanımlayabiliriz. Veri S3 içerisinde yerinde kalır fakat diğer kullanımlar için üzerinde tam kontrole sahip oluruz."

Srinivas Ravilisetty, BT Analizi Lideri - Alcon

Quantiphi

Quantiphi, karmaşık iş sorunlarını çözme isteği ile hareket eden bir Yapay Zeka ve Büyük Veri yazılımı ve hizmetleri şirketidir. Quantiphi, müşteriler için ölçülebilir değer sunma amacıyla data lake’ler ve Yapay Zeka çözümleri oluşturmada uzmanlaşmıştır.

"AWS Lake Formation, günler içinde ilgili verilere erişimi olan güvenli bir data lake sunmamızı sağlar. Artık müşterilerimiz için her iki dünyanın da en iyi yönlerini sunma becerisine sahibiz – tam güvenlik ve kullanıcılarının kolayca karar verebilmeleri için ilgili verilere basitleştirilmiş erişim. Müşterilerimiz, güçlü ve merkezi bir veri kaynağından yararlanarak daha akıllı, analiz temelli iş kararları almaya odaklanabilir."

Arnav Gupta, AWS Practice Lideri - Quantiphi

Curvo

Curvo, özel olarak sağlık hizmeti tedarik zincirine yoğunlaşmış bir Hizmet olarak Yazılım şirketidir. Ayrıntılı etki alanı uzmanlığı ve çevik geliştirme uygulamaları ile sağlık hizmetlerinde harcama yönetimini daha hızlı ve kolay hale getirmek için analiz, iş akışı ve otomasyon oluştururlar.

"Veri normalleştirme, klinik ve tıbbi ürünler için karşılaştırma fiyatlandırmasına saydamlık getirerek daha iyi hasta sonuçları sağlamak üzere atılan kritik bir adımdır. AWS Lake Formation’da ML Dönüşümleri kullanarak artık veri kümelerini bir haftada değil dört saatte işliyoruz ve doğruluk oranımız neredeyse %100 arttı. Bu hız ve doğruluk sağlık hizmeti müşterilerimizin pazar değişikliklerine hızla yanıt vermesini sağlayarak hasta sonuçları konusunda bir kayba uğramadan daha uygun maliyetli bakım sağlar. Rakiplerimizin 4-6 haftada yaptığını bir günde sağlayabiliyoruz."

Nic Sagez, CTO - Curvo

Yenilikler

tarih
  • tarih
1
AWS Lake Formation
AWS Lake Formation özellikleri hakkında daha fazla bilgi edinin

Özellikler sayfasını ziyaret ederek AWS Lake Formation özellikleri hakkında daha fazla bilgi edinin.

Daha fazla bilgi edinin 
AWS hesabı için kaydolun
Bir hesaba kaydolun

AWS Ücretsiz Kullanımı için anında erişim elde edin.

Kaydolun 
Konsolda oluşturmaya başlayın
Konsolda oluşturmaya başlayın

AWS Management Console’da AWS Lake Formation ile oluşturmaya başlayın.

Oturum açın