Amazon Kinesis Veri Analizi özellikleri

Amazon Kinesis Veri Analizi; Apache Flink, Apache Beam, Apache Zeppelin, AWS SDK ve AWS hizmet entegrasyonları gibi açık kaynaklı kitaplıkları içerir. Apache Flink, yüksek oranda erişilebilir ve hassas akış uygulamaları oluşturmaya yarayan açık kaynaklı bir çerçeve ve motordur. Apache Beam, birden fazla yürütme motorunda yürütülen akış ve toplu veri işleme uygulamalarını tanımlamaya yarayan açık kaynaklı, birleşik bir modeldir. AWS Yazılım Geliştirme Setleri (SDK'lar), tercih ettiğiniz dilde uygulama programlama arabirimleri (API’ler) sağlayarak birçok AWS hizmeti için kodlamada karmaşıklığı ortadan kaldırmayı sağlar ve AWS kitaplıkları, kod örnekleri ve belgeleri içerir.

Kinesis Veri Analizi'nin Java, Scala, Python ve SQL için sunduğu esnek API'ler; durum bilgili olay işleme, akışlı ETL ve gerçek zamanlı analiz de dahil olmak üzere farklı kullanım durumları için uzmanlaşmıştır. Önceden oluşturulmuş operatörler ve analiz yetenekleri, Apache Flink akış uygulamasını aylar yerine saatler içinde oluşturmanızı sağlar. Kinesis Veri Analizi kütüphaneleri genişletilebilir olduğundan çok çeşitli kullanım durumları için gerçek zamanlı işleme gerçekleştirebilirsiniz.

Bir veri kaynağını veya hedefi minimum kodla kurabilir ve entegre edebilirsiniz. Amazon Kinesis Veri Analizi kitaplıklarını; Amazon Basit Depolama Hizmeti (S3), Apache Kafka İçin Amazon Yönetilen Akış (Amazon MSK), Amazon OpenSearch Hizmeti, Amazon DynamoDB, Amazon Kinesis Veri Akışları, Amazon Kinesis Data Firehose, Amazon CloudWatch ve AWS Glue Şema Kayıt Defteri hizmetlerini entegre etmek için kullanabilirsiniz.

Kinesis Veri Analizi kitaplıkları, AWS entegrasyonlarının yanı sıra 10'dan fazla Apache Flink bağlayıcısına ve özel entegrasyonlar oluşturma yeteneğine sahiptir. Gelişmiş işlevsellik sayesinde yalnızca birkaç kod satırı ekleyerek her entegrasyonun davranış biçimini değiştirebilirsiniz. Dosyalardan, dizinlerden, yuvalardan veya internet üzerinden erişilen diğer kaynaklardan okuma ve yazmanıza olanak tanıyan bir dizi Apache Flink ilkeli kullanarak özel entegrasyonlar da oluşturabilirsiniz.

Apache Flink için Kinesis Veri Analizi, AWS Glue Şema Kayıt Defteri ile uyumludur. Bu sunucusuz AWS Glue özelliği, kayıtlı Apache Avro şemalarını kullanarak akış verilerinin gelişimini hiçbir ek ücret ödemeden doğrulamanızı ve kontrol etmenizi sağlar. Şema Kayıt Defteri, Kinesis Veri Analizi üzerindeki şemalarınızı Apache Kafka, Apache Kafka İçin Amazon Yönetilen Akış (MSK) veya Amazon Kinesis Veri Akışları'na bağlı Apache Flink iş yükleri için bir kaynak veya alış noktası olarak yönetmenizi sağlar. Veri akışı uygulamaları Şema Kayıt Defteri ile entegre edildiğinde şema gelişimini yöneten uyumluluk denetimlerini kullanarak veri kalitesini artırabilir ve beklenmedik değişikliklere karşı koruma sağlayabilirsiniz.

İşlenen kayıtların, sonuçları tam olarak bir kez etkilediği uygulamalar oluşturmak için Kinesis Veri Analizi'nde Apache Flink'i kullanın; bu, tam olarak bir kez işleme olarak adlandırılır. Dahili hizmet bakımı veya kullanıcı tarafından başlatılan uygulama güncellemesi gibi bir uygulama kesintisi durumunda bile hizmet, tüm verilerin işlenmesini ve yinelenen veri olmamasını sağlayacaktır.

Hizmet, çalışan uygulama depolama alanında önceki ve devam eden hesaplamaları veya durumu depolar. Gerçek zamanlı ve geçmiş sonuçları, istediğiniz zaman diliminde karşılaştırın ve uygulama kesintileri sırasında hızlı kurtarma elde edin. Durum her zaman şifrelenir ve çalışan uygulama deposuna aşamalı olarak kaydedilir.

Basit bir API çağrısıyla dayanıklı uygulama yedeklemeleri oluşturabilir ve silebilirsiniz. Bir kesinti sonrasında uygulamalarınızı en son yedeklemeden hemen geri yükleyin veya uygulamanızı önceki bir sürüme geri yükleyin. 

Kinesis Veri Analizi Stüdyosu, yerleşik görselleştirmelerle saniye altı sorguları destekler. Veri akışınızı hızlı bir şekilde denetlemek ve sonuçları saniyeler içinde görüntülemek için geçici sorgular gerçekleştirebilirsiniz.

Stüdyo dizüstü bilgisayarları; kod geliştirmek, hata ayıklamak ve akış işleme uygulamalarını çalıştırmak için tek arabirimli bir geliştirme deneyimi sağlar.

Kinesis Veri Analizi Stüdyosu, aynı geliştirme ortamında SQL, Python ve Scala'yı destekler. Söz dizimi vurgulama, doğrulama ve bağlama duyarlı öneriler, belirli Apache Flink yetenekleri için yerleşik destekle verilerinizle etkileşime geçmeniz için dizüstü bilgisayar içinde size rehberlik eder.

Tedarik edilecek, yönetilecek veya ölçeklendirilecek sunucu gerekmez. Sadece kod yazın ve uygulamalarınızın tükettiği kaynaklar için ödeme yapın. Otomatik ölçeklendirme ve dayanıklı durumla sürekli çalışan bir akış işleme uygulamasına dizüstü bilgisayarınızdaki kodunuzu kolayca dağıtın.

Kinesis Veri Analizi Stüdyosu, üretimde kullanılan Apache Flink uygulamalarını çalıştırıp üretir. Apache Zeppelin dizüstü bilgisayarlar, akış uygulamalarını tercih edilen bir dilde yazmak için tanıdık ve kullanımı kolay bir deneyim sunar.

AWS Glue Veri Kataloğu, tablo tanımlarını içeren merkezi bir havuz görevi gören kalıcı bir meta veri deposudur. AWS Glue Veri Kataloğu ile birden çok AWS veri kümesini hızla keşfedebilir ve bunlarda arama yapabilirsiniz. Kinesis Veri Analizi Stüdyosu, kaynak ve hedef tablolarınız için şema tanımlayabileceğiniz AWS Glue Veri Kataloğu ile uyumludur.

Yeni projelerde SQL Uygulamaları için Kinesis Veri Analizi yerine yeni Kinesis Veri Analizi Stüdyosu'nu kullanmanızı öneririz. Kinesis Veri Analizi Stüdyosu, kullanım kolaylığını gelişmiş analitik yeteneklerle birleştirerek dakikalar içinde gelişmiş akış işleme uygulamaları oluşturmanızı sağlar.

Kinesis Veri Analizi, standart ANSI SQL'i destekler, bu nedenle ihtiyacınız olan tek şey SQL'e aşina olmaktır.

Kinesis Veri Analizi, akış verilerini kolayca alabilmeniz için Amazon Kinesis Veri Akışları ve Amazon Kinesis Data Firehose ile entegre olur. Kinesis Veri Analizi'ni giriş akışına doğrultmanız yeterlidir; verileri otomatik olarak okuyacak, ayrıştıracak ve işlenmeye hazır hale getirecektir. İşlenmiş sonuçları Kinesis Data Firehose aracılığıyla Amazon S3, Amazon Redshift ve Amazon OpenSearch Hizmeti gibi diğer AWS hizmetlerine yayabilirsiniz. Gelişmiş akış işleme işlem hatları oluşturmak için çıkış verilerini Amazon Kinesis Veri Akışları'na gönderebilirsiniz.

Değişken zaman aralığı ortalamaları gibi akış veri işlemlerini kullanarak SQL sorguları oluşturmak için konsol tabanlı bir düzenleyici kullanın. Ayrıca komut dosyanızda hata ayıklamak veya komut dosyanızı etkileşimli olarak daha da hassaslaştırmak için canlı verileri kullanarak akış sonuçlarını ve hataları görüntüleyebilirsiniz.

Kinesis Veri Analizi, giriş verileri yapısını keşfetmek ve düzenlemek için kullanımı kolay bir şema düzenleyicisi sağlar. JSON ve CSV gibi standart veri formatları sihirbaz tarafından otomatik olarak tanınır. Şema düzenleyicisini kullanarak daha da geliştirebileceğiniz bir taban çizgisi şeması oluşturmak için giriş verilerinin yapısını çıkarır.

Etkileşimli SQL düzenleyicisi; toplama, olay başına dönüştürme ve filtreleme gibi en yaygın işlem türleri için temel SQL kodu sağlayan bir SQL şablonu koleksiyonuyla birlikte gelir. Analiz görevinize uygun şablonu seçmeniz ve ardından spesifik kullanım durumunuza göre özelleştirmek için SQL düzenleyicisini kullanarak sağlanan kodu düzenlemeniz yeterlidir.

Kinesis Veri Analizi, akış işleme için optimize edilmiş işlevler sunar, böylece akış verilerinizde anormallik tespiti ve Top-K analizi gibi gelişmiş analizleri kolayca gerçekleştirebilirsiniz.