Amazon Redshift ile Amazon Aurora MySQL zero-ETL entegrasyonu artık genel kullanıma sunuldu

Orijinal makale: Link (Donnie Prakoso)

AWS’te Veritabanı, Analiz ve Makine Öğrenimi Başkan Yardımcısı Swami Sivasubramanian, “Veri her uygulamanın, sürecin ve iş kararının merkezinde yer alıyor,” diye yazıyor ve ben de aynı fikirdeyim. Müşterilerin bugün kullandığı yaygın bir model, verileri Amazon Aurora‘dan Amazon Redshift‘e taşımak için veri işlem hatları oluşturmaktır. Bu çözümler, satışları artırmak, maliyetleri düşürmek ve işlerini optimize etmek için içgörüler elde etmelerine yardımcı oluyor.

Analiz için veri hazırlamak yerine verilerden değer yaratmaya odaklanmanıza yardımcı olmak için AWS re:Invent 2022’de Amazon Aurora’nın Amazon Redshift ile zero-ETL entegrasyonunu ve Haziran 2023’te Amazon Aurora MySQL Uyumlu Sürümü için genel ön izlemeyi duyurduk.

Artık genel kullanıma sunuldu: Amazon Redshift ile Amazon Aurora MySQL zero-ETL entegrasyonu
Bugün, Amazon Redshift ile Amazon Aurora MySQL zero-ETL entegrasyonunun genel kullanıma sunulduğunu duyurduk. Tam olarak yönetilen bu çözüm sayesinde, kritik iş kararlarını bilgilendirmek üzere işlem verilerinizden zamana duyarlı içgörüler elde etmek için artık karmaşık veri işlem hatları oluşturmanıza ve sürdürmenize gerek kalmayacak.

Amazon Aurora ve Amazon Redshift arasındaki bu zero-ETL entegrasyonu, Amazon Redshift’teki petabaytlarca işlem verisi üzerinde neredeyse gerçek zamanlı analitik ve makine öğrenimi (ML) çalıştırma fırsatlarının kilidini açar. Bu veriler Aurora’ya yazıldığında, saniyeler içinde Amazon Redshift’te kullanılabilir olacaktır.

Ayrıca, birçok uygulama veya bölüm genelinde bütünsel içgörüler elde etmek için Amazon Redshift’teki birden fazla Aurora MySQL veritabanı kümesinden konsolide analizler çalıştırmanıza olanak tanır. Amazon Redshift ile Amazon Aurora MySQL zero-ETL entegrasyonu, birden fazla Aurora veritabanından dakikada 1 milyondan fazla işlemi (dakikada 17,5 milyon satır ekleme/güncelleme/silme işlemine eş değer) işler ve bunları 15 saniyeden kısa bir sürede (p50 gecikme süresi) Amazon Redshift’te kullanılabilir hale getirir.

Ayrıca, Amazon Redshift’in materyalleştirilmiş görünümler, Bölgeler arası veri paylaşımı ve birden fazla veri deposuna ve veri gölüne birleştirilmiş erişim gibi analitik ve yerleşik makine öğrenimi özelliklerinden yararlanabilirsiniz.

Hadi başlayalım
Bu makalede, nasıl kolayca başlayabileceğinize dair bilgilerle birlikte bazı adımları vurgulayacağım. Mevcut Amazon Aurora MySQL sunucusuz veritabanımı ve Amazon Redshift veri ambarımı kullanacağım.

Başlamak için Amazon RDS’e gitmem ve Zero-ETL integrations (Zero-ETL entegrasyonları) sayfasında Create zero-ETL integration (zero-ETL entegrasyonu oluştur) seçmem gerekiyor.

Create zero-ETL integration (zero-ETL entegrasyonu oluştur) sayfasında, Amazon Aurora veritabanı kümem ve Amazon Redshift veri ambarım için entegrasyonu yapılandırmak üzere birkaç adımı izlemem gerekiyor.

İlk olarak, entegrasyonum için bir tanımlayıcı tanımlıyorum ve Next‘i (İleri) seçiyorum.

Bir sonraki sayfada, Browse RDS databases (RDS veritabanlarına göz at) seçeneğini seçerek kaynak veritabanını seçmem gerekiyor.

Burada, kaynak olarak mevcut veritabanımı seçebilirim.

Bir sonraki adım bana hedef Amazon Redshift veri ambarını soruyor. Burada, hesabımdaki veya farklı bir hesaptaki Amazon Redshift Serverless veya RA3 veri ambarını seçme esnekliğine sahibim. Browse Redshift data warehouses (Redshift veri ambarlarına göz at) seçeneğini seçiyorum.

Ardından, hedef veri ambarını seçiyorum.

Amazon Aurora’nın veri ambarına replike olması gerektiğinden, ek bir kaynak politikası eklememiz ve Aurora veritabanını Amazon Redshift veri ambarına yetkili bir entegrasyon kaynağı olarak eklememiz gerekir.

Bunu Amazon Redshift konsolunda manuel olarak güncelleyerek veya Amazon RDS’in benim için düzeltmesine izin vererek çözebilirim. Onay kutusunu işaretliyorum.

Bir sonraki sayfada, Amazon RDS’in bizim için gerçekleştireceği değişiklikleri gösteriyor. Continue (Devam) seçiyorum.

Bir sonraki sayfada etiketleri ve şifrelemeyi yapılandırabilirim. Varsayılan olarak, zero-ETL entegrasyonu AWS Key Management Service (AWS KMS) kullanarak verilerinizi şifreler ve benim kendi anahtarımı kullanma seçeneğim var.

Ardından, tüm yapılandırmaları gözden geçirmem ve entegrasyonu oluşturmak için Create zero-ETL integration (zero-ETL entegrasyonu oluştur) seçeneğini belirlemem gerekiyor.

Birkaç dakika sonra zero-ETL entegrasyonum başarıyla oluşturuldu. Ardından, Amazon Redshift’e geçiyorum ve Zero-ETL integrations (Zero-ETL entegrasyonları) sayfasında, yeni oluşturduğum zero-ETL entegrasyonumu görebiliyorum.

Entegrasyon henüz Amazon Redshift içinde bir hedef veritabanına sahip olmadığından, bir tane oluşturmam gerekiyor.

Şimdi entegrasyon yapılandırması tamamlandı. Bu sayfada, entegrasyon durumunun etkin olduğunu ve çoğaltılan bir tablo olduğunu görebiliyorum.

Test için Amazon Aurora veritabanımda yeni bir tablo oluşturuyorum ve bu tabloya bir kayıt ekliyorum.

Ardından Amazon Redshift içindeki Redshift query editor v2‘ya (Redshift sorgu düzenleyicisi v2) geçtim. Burada, entegrasyonun bir parçası olarak oluşturduğum veritabanına bağlantı kurabiliyorum. Basit bir sorgu çalıştırarak verilerimin Amazon Redshift içinde zaten mevcut olduğunu görebiliyorum.

Bu zero-ETL entegrasyonunu iki nedenden dolayı çok kullanışlı buldum. İlk olarak, birden fazla veritabanı kümesinden gelen tüm verileri bir araya getirebiliyor ve toplu olarak analiz edebiliyordum. İkincisi, işlem verilerinin Amazon Aurora MySQL’e yazılmasından birkaç saniye sonra, bu zero-ETL entegrasyonu verileri sorunsuz bir şekilde Amazon Redshift’te kullanılabilir hale getirdi.

Bilinmesi gerekenler

Kullanılabilirlik – Amazon Aurora’nın Amazon Redshift ile zero-ETL entegrasyonu ABD Doğu (Ohio), ABD Doğu (N. Virginia), ABD Batı (Oregon), Asya Pasifik (Singapur), Asya Pasifik (Sidney), Asya Pasifik (Tokyo), Avrupa (Frankfurt), Avrupa (İrlanda) ve Avrupa (Stockholm) Bölgelerinde mevcuttur.

Desteklenen Veritabanı Motorları – Amazon Aurora Amazon Redshift ile zero-ETL Entegrasyonu şu anda Amazon Aurora’nın MySQL uyumlu sürümlerini desteklemektedir. Amazon Aurora PostgreSQL Uyumlu Sürüm desteği için çalışmalar devam etmektedir.

Fiyatlandırma – Amazon Redshift ile Amazon Aurora zero-ETL entegrasyonu ek ücret olmadan sağlanır. Zero-ETL entegrasyonunun bir parçası olarak oluşturulan değişiklik verilerini oluşturmak ve işlemek için kullanılan mevcut Amazon Aurora ve Amazon Redshift kaynakları için ödeme yaparsınız.

Verileri analiz için hazırlamak yerine onlardan değer yaratmaya daha fazla odaklanmanıza yardımcı olmaya bir adım daha yaklaştık. Nasıl başlayacağınız hakkında daha fazla bilgi edinmek için lütfen Amazon Redshift ile Amazon Aurora MySQL zero-ETL entegrasyonu sayfasını ziyaret edin.

Mutlu entegrasyonlar!