Amazon Redshift ile Amazon Aurora sıfır ETL entegrasyonu, petabaytlarca işlem verisinde Amazon Redshift kullanarak neredeyse gerçek zamanlı analiz ve makine öğrenimi (ML) sağlar. İşlem verilerinin Amazon Aurora'ya yazılmasından birkaç saniye sonra sıfır ETL, verileri Amazon Redshift'te sorunsuz bir şekilde kullanılabilir hale getirir ve ayıklama, dönüştürme ve yükleme (ETL) işlemlerini gerçekleştiren karmaşık veri işlem hatları oluşturma ve bunları sürdürme ihtiyacını ortadan kaldırır.
Avantajlar
Gerçek zamanlı veri erişimi
Amazon Redshift'te sadece birkaç saniye içinde Aurora'dan işlem verilerine erişerek petabaytlarca veri üzerinde gerçek zamanlı analiz ve ML çalıştırın.
Kullanımı kolay
İşlem verilerini analiz sistemlerine taşımak için ETL işlem hatlarını oluşturmak ve yönetmek zorunda kalmadan neredeyse gerçek zamanlı olarak hızlı bir şekilde analiz edin.
Sorunsuz veri entegrasyonu
Çeşitli Aurora veritabanı kümelerinden gelen birden fazla tabloyu birleştirin ve birden fazla uygulama ve veri kaynağı genelinde birleşik analiz çalıştırmak için verilerinizi bir Amazon Redshift veri ambarında olacak şekilde çoğaltın.
Altyapı yönetimi yok
Hem Amazon Aurora Sunucusuz v2 hem de Amazon Redshift Sunucusuz'u kullanırken, herhangi bir altyapı yönetmek zorunda kalmadan işlemsel veriler üzerinde neredeyse gerçek zamanlı analizler çalıştırın.
Kullanım örnekleri
Neredeyse gerçek zamanlı operasyonel analizler
Kritik ve zaman hassasiyetli olaylara etkili bir şekilde yanıt vermek üzere işlem verileri ve diğer verilerden neredeyse gerçek zamanlı öngörüler elde etmek için Amazon Redshift analiz ve ML imkanlarını kullanın. Gerçek zamanlı analizler, içerik hedefleme, optimize edilmiş oyun deneyimi, veri kalitesi izleme, dolandırıcılık tespiti ve müşteri davranış analizi gibi kullanım örnekleri için daha doğru ve zamanında öngörüler elde etmenize yardımcı olabilir.
Büyük ölçekte analiz
Amazon Redshift ile Aurora sıfır ETL entegrasyonu sayesinde, Amazon Redshift imkanlarını kullanarak birden çok Aurora veri tabanı kümesinden birleştirilmiş petabaytlarca işlem verisini analiz edebilirsiniz. Amazon Redshift'in yerleşik ML, gerçekleştirilmiş görünümler, veri paylaşımı ile birden çok veri deposuna ve veri gölüne federe erişim gibi kapsamlı analiz imkanlarından yararlanabilirsiniz. Amazon Redshift ML sayesinde Amazon SageMaker'a yerel entegrasyonla basit SQL komutlarını kullanarak milyarlarca tahmin çalıştırabilirsiniz.
Operasyonel yükü azaltın
Verileri işlem veri tabanından merkezi bir veri ambarına taşımak genellikle karmaşık bir veri işlem hattı ETL çözümü oluşturmayı, sürdürmeyi ve çalıştırmayı gerektirir. Sıfır ETL entegrasyonu ile şemayı, mevcut verileri ve veri değişikliklerini Aurora veri tabanınızdan yeni veya mevcut bir Amazon Redshift kümesinde olacak şekilde sorunsuz bir şekilde çoğaltabilirsiniz. Sıfır ETL entegrasyonu, karmaşık veri işlem hattı yönetimi ihtiyacını ortadan kaldırır.
Kullanmaya başlama
Aurora ile Amazon Redshift arasında sıfır ETL entegrasyonunuzu oluşturmak için veri kaynağı olarak bir Aurora DB kümesi ve hedef olarak bir Amazon Redshift veri ambarı belirtilir. Entegrasyon, kaynak veri tabanındaki verileri çoğaltarak hedef veri ambarına yerleştirir. Veriler saniyeler içinde Amazon Redshift'te kullanılabilir hale gelir ve veri analistlerinin veriler üzerinde Amazon Redshift analizi ve ML işlevini kullanmaya başlamasına olanak tanır. Daha fazla bilgi edinmek için lütfen Aurora ve Amazon Redshift ile ilgili kullanmaya başlama kılavuzlarını ziyaret edin.
Kaynaklar
Fiyatlandırma
- Değişiklik verilerini yakalamayı etkinleştirerek kullanılan ek G/Ç ve depolama
- Amazon Redshift veri tabanlarınızın başlatılması için ilk veri aktarımının anlık yedek dışarı aktarma maliyetleri
- Çoğaltılmış verileri depolamak için ek Amazon Redshift depolama alanı
- Veri çoğaltmayı işlemek için ek Amazon Redshift işlemi
- Verileri kaynaktan hedefe taşımak için AZ arası veri aktarım maliyetleri.
Sıfır ETL entegrasyonu ile veri değişikliklerinin sürekli işlenmesi hiçbir ek ücret alınmadan sunulur. Daha fazla bilgi için lütfen Aurora fiyatlandırma sayfasını ziyaret edin.
Müşteriler
Taşıma doğrulaması; Infosys üretim, perakende ve lojistik müşterileri için tedarik zinciri bütünlüğünü korumada çok önemlidir. Bunun için de gönderileri izlemek ve taşıma analizinde taşıma izleme verilerinin gerçek zamanlı olarak alınması gereklidir.
"Infosys, verileri gerçek zamanlı olarak almak için sıfır ETL'nin özelliklerini kullandı, taşıma gönderisi takibini mümkün kıldı ve konum, durum ve tahmini varış zamanı hakkında görünürlük sağladı. Bu da taşıma operasyonlarının optimizasyonuna ve önemli maliyet düşüşüne olanak tanır. Sıfır ETL kapsamlı raporlama ve analiz, Infosys Cobalt ve Topaz endüstri ayrıntılı planlarıyla birlikte, veri odaklı karar verme artık mümkün."
Sunil Senan, Veri, Analiz ve Yapay Zeka SVP ve Genel Müdürü - Infosys
Intuit; TurboTax, Credit Karma, QuickBooks ve Mailchimp ile 100 milyon tüketici ve küçük işletme müşterisi için refahı sağlayan küresel finansal teknoloji platformudur. Yaklaşan bir geçişin karmaşıklığında Intuit, günde 10 milyondan fazla profil geçişinin şaşırtıcı bir hızını düşünüyordu. Intuit, veri alımı sürecini kolaylaştırmak ve karmaşık mühendislik çalışmalarına olan ihtiyacı ortadan kaldırmak için Amazon Redshift ile Amazon Aurora MySQL sıfır ETL entegrasyonuna başvurdu.
"Büyük veri hacmi ve sorunsuz geçiş ihtiyacı bizim için önemli bir zorluk oluşturdu. Ayrıca, geçiş sürecini hızlı bir şekilde analiz etmemizi ve hızlı, veri odaklı kararlar almamızı sağlayacak bir çözüme ihtiyacımız vardı. Bu zorlukların üstesinden gelmek için Amazon Redshift ile Amazon Aurora sıfır ETL entegrasyonuna başvurarak veri alma sürecimizi kolaylaştırdık ve karmaşık mühendislik çalışmalarına duyulan ihtiyacı ortadan kaldırdık. Sıfır ETL ile, veri yakalama veya ayrı alım işlerine gerek kalmadan Amazon Redshift'e büyük miktarda veri gönderebildik. Bu ayrıca kritik teknik ve iş kararlarını yönlendirmek için hızlı öngörüler sağladı ve normalde gerekli olabilecek aylarca sürecek çalışma süresinden tasarruf sağladı. Amazon Redshift ile Aurora sıfır ETL entegrasyonunu kullanmak, büyük ölçekli veri geçişleri ve neredeyse gerçek zamanlı analiz için Intuit'deki yeni kalıpları keşfetmemize yardımcı oldu."
Aruna Ghiware, Ürün Geliştirme Müdürü - Intuit
KINTO Technologies Corporation, mobilite platformu endüstrisinin lider bir oyuncusudur ve Toyota'nın finansal hizmetler şirketi olarak KINTO hizmetinin geliştirilmesinden sorumlu teknoloji şirketidir. Amazon Redshift ile Amazon Aurora MySQL sıfır ETL entegrasyonundan yararlanan KINTO Technologies, daha esnek bir veri hattı elde etmeyi başardı ve artık Amazon Redshift'in gelişmiş analiz özelliklerini operasyon verilerine neredeyse gerçek zamanlı olarak uygulayabiliyor.
"Sıfır ETL entegrasyonu kullanıma sunulmadan önce, değişiklikleri çekirdek veri tabanlarımızdan çıkış uygulamalarına sürekli olarak aktaran özel olarak oluşturulmuş bir çözüm kullandık ancak üretim iş yükümüz üzerinde uzun süreli performans zorlukları ve etkilerle karşı karşıya kaldık. Üretim iş yükü üzerindeki performans etkisinin üstesinden gelmek için, güncellemeleri daha az sıklıkta göndermek için işlem hatlarını manuel olarak ayarlamamız ve Amazon Redshift'teki eski verilerle yetinmemiz gerekiyordu. Amazon Redshift ile Aurora MySQL sıfır ETL entegrasyonunu kullanarak Amazon Redshift'te her zaman neredeyse gerçek zamanlı verilere sahip olabiliriz. Bu sayede, ETL işlemleri için veri akışlarını manuel olarak yönetmek veya iş yüklerimiz üzerindeki performans etkileriyle uğraşmak için geliştiricinin harcadığı zamandan tasarruf edilerek operasyonel yükümüzü azaltmaya yardımcı olur."
Hitoshi Kageyama, İcra Başkan Yardımcısı - KINTO Technologies Corporation
Money Forward i, sezgisel SaaS Yönetim Platformu Admina aracılığıyla tekrarlayan görevleri düzene sokarak, maliyetleri düşürerek ve güvenliği güçlendirerek kuruluşlardaki BT ekiplerinin üretkenliğini ve yaratıcı potansiyelini artırmaya çalışır.
"Amazon Aurora sıfır ETL entegrasyonunun Amazon Redshift ile piyasaya sürülmesinden önce, Amazon Redshift'te Amazon Aurora MySQL'den gelen ürün verilerini analiz etmek için ETL operasyonlarımızı uygulama ve sürdürme yükü zorlayıcıydı. Amazon Redshift ile Aurora MySQL sıfır ETL entegrasyonu, Aurora MySQL veri tabanlarımız ile Amazon Redshift arasında neredeyse gerçek zamanlı veri senkronizasyonu sağlar ve analiz ortamı oluşturma süresini bir aydan sadece üç saate düşürür. Geliştirme sırasındaki ilk yükü azaltmanın yanı sıra, sıfır ETL entegrasyonu ile üretim ortamları üzerinde daha az etki olur ve analiz ortamını minimum maliyetle ve maksimum hızda oluşturmayı mümkün kılar."
Katsutoshi Murakami, Direktör ve CPO - Money Forward i
Woolworths| yenilik, değer ve sürdürülebilirliğe odaklanan çok çeşitli kalitede giyim, genel ürünler ve gıda ürünleri sunan önde gelen bir Sahra altı Afrika perakendecisidir.
"Verilerimizden zamanında öngörü elde etmek çok önemlidir çünkü bu, işimiz genelinde veri odaklı kararları hızlı bir şekilde teşvik edebileceğimiz ve kritik, zamana duyarlı olaylara etkili bir şekilde yanıt verebileceğimiz anlamına gelir. Değişim verilerini yakalamayı kullanmak ve kayıtların koagülasyonu zaman alıcıydı ve verilerin işlenmesi beklenenden daha maliyetliydi. Amazon Aurora MySQL sıfır ETL entegrasyonunu Amazon Redshift ile kullanarak, ETL işlemleri için gereken mühendislik çabası nedeniyle geliştirilmesi 2 ay alacak olan sonuçları bir gün içinde üretebiliriz. Veri gecikmesi, entegrasyon kullanılarak önemli ölçüde azaltıldı çünkü veriler sorgulamaya hazır durumdaydı. Bu da olaylar meydana geldikçe daha hızlı karar vermemizi sağladı. Amazon Redshift ile Aurora sıfır ETL entegrasyonunu kullanarak mühendislik çabalarımızı azalttık, işlem hattı yönetimindeki arıza noktalarını azalttık ve maliyetlerden tasarruf ettik."
Raamy Schroeder, İş Zekası Lideri - Woolworths
Aurora'nın özellikleri hakkında daha fazla bilgi edinin