AWS Glue

Basit, esnek ve uygun maliyetli ETL

AWS Glue, ayıklama, dönüştürme ve yükleme (ETL) işleri yapan tam olarak yönetilen bir hizmettir. Müşterilerin verilerini analitik için hazırlamalarını ve yüklemelerini kolaylaştırır. AWS Management Console’da birkaç tıklama ile ETL işleri oluşturup bunları çalıştırabilirsiniz. AWS Glue'yu AWS'de depoladığınız verilerinize yönlendirmeniz yeterlidir. AWS Glue verilerinizi bulur ve ilişkili meta verileri (tablo tanımı ve şema gibi) AWS Glue Veri Kataloğunda depolar. Veriliniz kataloğa eklenir eklenmez aranabilir, sorgulanabilir ve ETL için kullanılabilir hale gelir.

Introducing AWS Glue (1:47)

Avantajlar

Daha az güçlük

AWS Glue birçok farklı AWS hizmetiyle entegre olduğundan, altyapınıza eklerken daha az çaba harcamanız gerekir. AWS Glue; Amazon Aurora ve diğer tüm Amazon RDS altyapılarında, Amazon Redshift ve Amazon S3'te depolanan verilerin yanı sıra Amazon EC2'de çalışan Sanal Özel Bulutunuzdaki (Amazon VPC) yaygın veri tabanı altyapıları ve veritabanlarında depolanan verileri destekler.

Uygun maliyetli

AWS Glue sunucusuzdur. Tedarik etmeniz veya yönetmeniz gereken bir altyapı yoktur. AWS Glue, ETL işlerinizin tam olarak yönetilen, ölçeği genişletilebilen bir Apache Spark ortamında çalıştırılması için gerekli kaynakları tedarik etme, yapılandırma ve ölçeklendirme işlemlerini gerçekleştirir. Yalnızca işleriniz çalıştırıldığı sırada kullanılan kaynaklar için ödeme yaparsınız.

Daha güçlü

AWS Glue, ETL işlerinin oluşturulması, bakımının yapılması ve çalıştırılmasıyla ilgili çoğu işi otomatikleştirir. AWS Glue veri kaynaklarınızda gezinir, veri biçimlerini tespit eder, şemalar ve dönüştürme işlemleri önerir. AWS Glue, veri dönüştürme ve yükleme işlemlerinizi yürütmek için gerekli kodu otomatik olarak oluşturur.

 

 

Nasıl çalışır?

Bir veri kaynağı ve veri hedefi seçin. AWS Glue, verilerin kaynaktan ayıklanması, hedef şemayla eşleşecek şekilde dönüştürülmesi ve hedefe yüklenmesi için gerekli ETL kodunu Scala veya Python dilinde oluşturur. Bu kodu Console aracılığıyla, sık kullandığınız IDE'yi ya da dilediğiniz dizüstü bilgisayarı kullanarak düzenleyebilir, test edebilir ve koddaki hataları ayıklayabilirsiniz.

1. Adım: Veri Kataloğunuzu Oluşturma
Veri kataloğunuzu oluşturma adımı

İlk olarak AWS Management Console'u kullanarak veri kaynaklarınızı kaydettirin. Veri kaynaklarınızda gezinen AWS Glue, JSON, CSV ve Parquet gibi birçok popüler kaynak biçimine ve veri türüne yönelik olarak önceden oluşturulmuş sınıflandırıcıları kullanarak Veri Kataloğunuzu oluşturur.

2. Adım: Dönüştürme İşlemlerini Oluşturma ve Düzenleme
Dönüştürme işlemlerini oluşturma ve düzenleme adımı

Sonra bir veri kaynağı ve veri hedefi seçin. AWS Glue, verilerin kaynaktan ayıklanması, hedef şemayla eşleşecek şekilde dönüştürülmesi ve hedefe yüklenmesi için gerekli ETL kodunu Scala veya Python dilinde oluşturur. Bu kodu Console aracılığıyla, sık kullandığınız IDE'yi ya da dilediğiniz dizüstü bilgisayarı kullanarak düzenleyebilir, test edebilir ve koddaki hataları ayıklayabilirsiniz.

3. Adım: İşlerinizi Zamanlama ve Çalıştırma
İşlerinizi zamanlama ve çalıştırma adımı

AWS Glue, yinelenen ETL işlerini zamanlamayı, birden çok işi bir zincir halinde birleştirmeyi veya AWS Lambda gibi diğer hizmetlerden isteğe bağlı olarak iş çağırmayı kolaylaştırır. AWS Glue, işleriniz arasındaki bağımlılıkları yönetir, temel kaynakları otomatik olarak ölçeklendirir ve başarısız olan işleri yeniden çalıştırır.

Daha fazla bilgi edinmek için AWS Glue özellikleri sayfasını ziyaret edin veya ürün belgelerimize başvurun.

Kullanım örnekleri

Bir Amazon S3 Data Lake'e Yönelik Sorgular

Data lake'ler hem yapılandırılmış hem de yapılandırılmamış verilerin depolanması için popülerliği gittikçe artan bir yöntemdir. Kendi özel Amazon S3 data lake oluşturmak istiyorsanız AWS Glue, verileri taşımanıza gerek kalmadan tüm verilerinizin analitik için anında erişilebilir hale gelmesini sağlayabilir.

Günler içinde güvenli data lake oluşturmak için AWS Lake Formation hakkında daha fazla bilgi edinin.

Bir Amazon S3 Data Lake'e yönelik sorgular diyagramı

Veri Ambarınızda Günlük Verilerini Analiz Etme

Veri kümelerinizi AWS Glue ile temizleyerek, normalleştirerek ve zenginleştirerek tıklama akışı veya işleme günlük verilerinizi analitik için hazırlayın. AWS Glue, yarı yapılandırılmış verilerinize yönelik şemayı oluşturur; verilerinizin dönüştürülmesi, düzleştirilmesi ve zenginleştirilmesi için gerekli kodu oluşturur ve veri ambarınızı yinelemeli olarak yükler.

Veri ambarınızda günlük verilerini analiz etme diyagramı

Birden Çok Veri Deposundaki Verilerinizin Birleşik Görünümü

AWS Glue Veri Kataloğu ile verileri taşımanıza gerek kalmaksızın birden çok AWS veri kümesini hızla keşfedebilir ve bunlarda arama yapabilirsiniz. Veriler kataloğa eklenir eklenmez Amazon Athena, Amazon EMR ve Amazon Redshift Spectrum ile aranabilir ve sorgulanabilir hale gelir.

Farklı veri depolarındaki verilerin görüntülenmesi diyagramı

Olay Odaklı ETL İşlem Hatları

AWS Glue, ETL işlerinizi yeni veri kümesi alınması gibi bir olayı temel alarak çalıştırabilir. Örneğin, bir AWS Lambda işlevini kullanarak ETL işlerinizi Amazon S3'te yeni veriler erişilebilir olduğu anda çalıştırılacak şekilde tetikleyebilirsiniz. Ayrıca, bu yeni veri kümesini ETL işlerinizin bir parçası olarak AWS Glue Veri Kataloğuna kaydedebilirsiniz.

Olay odaklı ETL işlem hatları diyagramı
Web sayfası görüntüsü
Ürün özelliklerini keşfedin

AWS Glue'nun temel özellikleri hakkında daha fazla bilgi edinin.

Daha fazla bilgi edinin 
Hesap açma görüntüsü
Ücretsiz hesap açın

AWS Ücretsiz Kullanımı için anında erişim elde edin. 

Hesap açın 
Araç kutusu görüntüsü
Konsolda oluşturmaya başlayın

AWS Management Console’da AWS Glue ile oluşturmaya başlayın.

Oturum açın