Genel

S: Apache Flink İçin Amazon Yönetilen Hizmet nedir?
Apache Flink İçin Amazon Yönetilen Hizmet'i kullanarak akış verilerini Apache Flink ile gerçek zamanlı olarak dönüştürebilir ve analiz edebilirsiniz. Apache Flink, veri akışlarını işlemek için açık kaynaklı bir çerçeve ve motordur. Apache Flink İçin Amazon Yönetilen Hizmet, Apache Flink uygulamalarını oluşturma, yönetme ve diğer AWS hizmetleriyle entegre etmenin karmaşıklığını azaltır.
 
Apache Flink İçin Amazon Yönetilen Hizmet, akış uygulamalarını sürekli olarak çalıştırmak için gereken her şeyle ilgilenir ve gelen verilerinizin hacmine ve aktarım hızına uyacak şekilde otomatik olarak ölçeklenir. Apache Flink İçin Amazon Yönetilen Hizmet ile yönetilecek sunucu, minimum ücret veya kurulum maliyeti yoktur ve yalnızca akış uygulamalarınızın tükettiği kaynaklar için ödeme yaparsınız.
 
S: Gerçek zamanlı akış işleme nedir ve neden buna ihtiyacım var?
Şirketler, gerçek zamanlı veri kaynaklarının büyük bir hızla çoğalması nedeniyle her zamankinden daha hızlı veri almaktadır. İster mobil ve web uygulamalarından gelen günlük verilerini ister e-ticaret platformlarından gelen satın alma verilerini veya IoT cihazlarından gelen sensör verilerini işliyor olun, verileri gerçek zamanlı olarak almak müşterilerinizin, kuruluşunuzun ve işletmenizin şu anda ne yaptığını öğrenmenize yardımcı olur.
 
S: Apache Flink İçin Amazon Yönetilen Hizmet ile ne yapabilirim?
Apache Flink İçin Amazon Yönetilen Hizmet'i, verileri sürekli olarak işlemek ve günler hatta haftalar boyunca beklemek yerine saniyeler veya dakikalar içinde öngörüler elde etmek üzere birçok senaryo için kullanabilirsiniz. Apache Flink İçin Amazon Yönetilen Hizmet; günlük analizi, tıklama akışı analizi, Nesnelerin İnterneti (IoT), reklam teknolojisi, oyun ve daha fazlası için hızla uçtan uca akış işleme uygulamaları oluşturmanıza olanak sağlar. En yaygın dört kullanım durumu; akış ayıklama-dönüştürme-yükleme (ETL), sürekli ölçüm üretimi, duyarlı gerçek zamanlı analiz ve etkileşimli veri akışı sorgulamasıdır.
 
Akış ETL
Veri gölünüzü veya veri ambarınızı gerçek zamanlı olarak yüklemeden önce akış ETL uygulamalarıyla ham verileri temizleyerek, zenginleştirerek, düzenleyerek ve dönüştürerek toplu ETL adımlarını azaltabilir veya ortadan kaldırabilirsiniz. Bu uygulamalar, küçük kayıtları dağıtımdan önce daha büyük dosyaların arabelleğine alabilir ve akışlar ve tablolar arasında karmaşık birleştirmeler gerçekleştirebilir. Örneğin Apache Kafka İçin Amazon Yönetilen Akış 'ta (Amazon MSK) depolanan IoT sensör verilerini sürekli okuyan, verileri sensör türüne göre düzenleyen, yinelenen verileri çıkaran, belirli bir şemaya göre verileri normalleştiren ve ardından verileri Amazon Basit Depolama Hizmeti'ne (Amazon S3) ileten bir uygulama oluşturabilirsiniz.
 
Sürekli ölçüm üretimi
Sürekli ölçüm üretimi uygulamalarıyla verilerinizin zaman içinde nasıl bir eğilim gösterdiğini izleyebilir ve anlayabilirsiniz. Uygulamalarınız, akış verilerini kritik bilgilerde toplayabilir ve uygulamalarınıza ve kullanıcılarınıza gerçek zamanlı olarak hizmet vermek için bunları raporlama veritabanları ve izleme hizmetleriyle sorunsuz bir şekilde entegre edebilir. Apache Flink İçin Amazon Yönetilen Hizmet ile zaman aralıklarında sürekli olarak zaman serisi analizi üretmek için Apache Flink kodunu (Java, Scala, Python veya SQL'de) kullanabilirsiniz. Örneğin bir mobil oyun için her dakika en iyi oyuncuları hesaplayarak ve ardından Amazon DynamoDB'ye göndererek canlı bir skor tablosu oluşturabilirsiniz. Ayrıca, her 5 dakikada bir benzersiz web sitesi ziyaretçilerinin sayısını hesaplayarak ve ardından işlenmiş sonuçları Amazon Redshift'e göndererek web sitenize gelen trafiği de takip edebilirsiniz.
 
Duyarlı gerçek zamanlı analiz
Duyarlı gerçek zamanlı analiz uygulamaları, belirli ölçümler önceden tanımlanmış eşiklere ulaştığında veya daha gelişmiş durumlarda uygulamanız makine öğrenimi (ML) algoritmalarını kullanarak anormallikler tespit ettiğinde gerçek zamanlı alarmlar veya bildirimler gönderir. Mobil uygulamalarda kullanıcı kaybı tahmini ve bozulmuş sistemlerin tanımlanması gibi işinizdeki değişikliklere bu uygulamalarla gerçek zamanlı olarak anında yanıt verebilirsiniz. Örneğin bir uygulama, müşteriye dönük bir API'nin zaman içinde kullanılabilirliğini veya başarı oranını hesaplayabilir ve ardından sonuçları Amazon CloudWatch'a gönderebilir. Belirli ölçütleri karşılayan olayları arayacak başka bir uygulama oluşturabilir ve ardından Amazon Kinesis Veri Akışları ve Amazon Basit Bildirim Hizmeti'ni (Amazon SNS) kullanarak doğru müşterileri otomatik olarak bilgilendirebilirsiniz.
 
Veri akışlarının etkileşimli analizi
Etkileşimli analiz, veri araştırmasının akışını gerçek zamanlı olarak gerçekleştirmenize yardımcı olur. Geçici sorgular veya programlarla Amazon MSK veya Amazon Kinesis Veri Akışları'ndan gelen akışları inceleyebilir ve bu akışlarda verilerin nasıl göründüğünü görselleştirebilirsiniz. Örneğin bir zaman aralığındaki ortalamayı hesaplayan gerçek zamanlı bir ölçümün nasıl davrandığını görüntüleyebilir ve toplanan verileri seçtiğiniz bir hedefe gönderebilirsiniz. Etkileşimli analiz, akış işleme uygulamalarının yinelemeli olarak geliştirilmesine de yardımcı olur. Oluşturduğunuz sorgular, yeni veriler geldikçe sürekli olarak güncellenir. Apache Flink Studio İçin Amazon Yönetilen Hizmet ile bu sorguları otomatik ölçeklendirme ve dayanıklı durum yedeklemeleri etkinleştirilmiş olarak sürekli çalışacak şekilde dağıtabilirsiniz. 
 

Kullanmaya başlama

S: Apache Flink İçin Amazon Yönetilen Hizmet'e yönelik Apache Flink uygulamalarını kullanmaya nasıl başlayabilirim?
Apache Flink İçin Amazon Yönetilen Hizmet konsolunda oturum açın ve yeni bir akış işleme uygulaması oluşturun. AWS CLI'sini ve AWS SDK'lerini de kullanabilirsiniz. Bir uygulama oluşturduktan sonra tercih ettiğiniz entegre geliştirme ortamına gidin, AWS'ye bağlanın ve açık kaynaklı Apache Flink kitaplıklarını ve AWS SDK'lerini tercih ettiğiniz dilde yükleyin. Apache Flink, veri akışlarını ve AWS SDK'lerini işlemek için açık kaynaklı bir çerçeve ve motordur. Genişletilebilir kitaplıklar, zaman aralığı ve toplama gibi 25'ten fazla önceden oluşturulmuş akış işleme işlecini ve Amazon MSK, Amazon Kinesis Veri Akışları, Amazon DynamoDB ve Amazon Kinesis Data Firehose gibi AWS hizmet entegrasyonlarını içerir. Oluşturduktan sonra kodunuzu Apache Flink İçin Amazon Yönetilen Hizmet'e yükleyin. Hizmet, gelen verilerinizin hacmine ve aktarım hızına uyacak şekilde otomatik olarak ölçeklendirme dahil gerçek zamanlı uygulamalarınızı sürekli olarak çalıştırmak için gereken her şeyle ilgilenir. 
 
S: Apache Flink İçin Amazon Yönetilen Hizmet'e yönelik Apache Beam uygulamalarını kullanmaya nasıl başlayabilirim? 
Apache Flink İçin Amazon Yönetilen Hizmet uygulamanızı oluşturmak üzere Apache Beam'i kullanmak, Apache Flink'i kullanmaya başlamakla çok benzerdir. Yukarıdaki soruda bulunan talimatları takip edebilirsiniz. Geliştirici Kılavuzu'ndaki talimatları takip ederek uygulamaların Apache Beam'de çalışması için gerekli tüm bileşenleri yüklediğinizden emin olun. Apache Flink İçin Amazon Yönetilen Hizmet'in yalnızca Apache Beam'de çalışırken Java SDK'sini desteklediğini unutmayın. 
 
S: Apache Flink Studio için Amazon Yönetilen Hizmet'i kullanmaya nasıl başlayabilirim?
Apache Flink İçin Amazon Yönetilen Hizmet konsolundan başlayabilir ve yeni bir Studio not defteri oluşturabilirsiniz. Not defterini başlattıktan sonra SQL, Python veya Scala'da hemen kod yazmak için Apache Zeppelin'de açabilirsiniz. Yerleşik entegrasyonları ve özel bağlayıcılara sahip diğer Apache Flink destekli kaynak ve hedefleri kullanan Amazon Kinesis Veri Akışları, Amazon MSK ve Amazon S3 için not defteri arabirimiyle etkileşimli bir şekilde uygulamalar geliştirebilirsiniz. Apache Flink'in Flink SQL ve Tablo API'sinde desteklediği tüm işleçleri, geçici veri akışı sorgulaması gerçekleştirmek ve akış işleme uygulamanızı geliştirmek için kullanabilirsiniz. Hazır olduğunuzda birkaç adımda kodunuzu oluşturabilir ve otomatik ölçeklendirmeye ve dayanıklı duruma sahip sürekli çalışan bir akış işleme uygulaması haline getirebilirsiniz. 
 
S: Apache Flink İçin Amazon Yönetilen Hizmet'in sınırları nelerdir? 
Apache Flink İçin Amazon Yönetilen Hizmet, uygulamanızı kaynak akışınızın veri aktarım hızına ve çoğu senaryo için sorgu karmaşıklığınıza uyum sağlayacak şekilde esnek biçimde ölçeklendirir. Apache Flink uygulamalarının hizmet sınırları hakkında ayrıntılı bilgiyi Apache Flink İçin Amazon Yönetilen Hizmet Geliştirici Kılavuzu'ndaki Sınırlar bölümünde bulabilirsiniz. 
 
S: Apache Flink İçin Amazon Yönetilen Hizmet, şema kaydını destekliyor mu?
Evet. Apache Flink İçin Amazon Yönetilen Hizmet uygulamaları, Apache Flink DataStream Bağlayıcıları'nı kullanarak AWS Glue'nun sunucusuz bir özelliği olan AWS Glue Şema Kayıt Defteri'ni kullanabilir. Apache Kafka, Amazon MSK ve Amazon Kinesis Veri Akışları'nı, bir biriktirici veya bir kaynak olarak Apache Flink İçin Amazon Yönetilen Hizmet iş yüklerinizle entegre edebilirsiniz. Kullanmaya başlamak ve daha fazla bilgi edinmek için AWS Glue Şema Kayıt Defteri Geliştirici Kılavuzu'nu ziyaret edin. 

Temel kavramlar

S: Apache Flink İçin Amazon Yönetilen Hizmet uygulaması nedir?
Uygulama, birlikte çalıştığınız Apache Flink İçin Amazon Yönetilen Hizmet varlığıdır. Apache Flink İçin Amazon Yönetilen Hizmet uygulamaları, akış verilerini gerçek zamanlı olarak sürekli okur ve işler. Gelen akış verilerini işlemek ve çıktı üretmek için uygulama kodunu Apache Flink destekli bir dilde yazarsınız. Ardından, Apache Flink İçin Amazon Yönetilen Hizmet, çıktıyı yapılandırılmış bir hedefe yazar.
 
Her uygulama üç ana bileşenden oluşur:
 
  1. Giriş: Giriş, uygulamanızın akış kaynağıdır. Giriş yapılandırmasında akış kaynaklarını veri akışlarına eşlersiniz. Veriler, veri kaynaklarınızdan veri akışlarınıza akar. Bu veri akışlarından gelen verileri uygulama kodunuzu kullanarak işler, işlenmiş verileri sonraki veri akışlarına veya hedeflere gönderirsiniz. Apache Flink uygulamaları ve Studio not defterlerinin uygulama kodunun içine ve Apache Flink İçin Amazon Yönetilen Hizmet uygulamaları API'si aracılığıyla girişler eklersiniz. 
  2. Uygulama kodu: Uygulama kodu, girişi işleyen ve çıktı üreten bir dizi Apache Flink işlecidir. En basit haliyle uygulama kodu, bir akış kaynağıyla ilişkili bir veri akışından okuyan ve bir çıktıyla ilişkili başka bir veri akışına yazan tek bir Apache Flink işleci olabilir. Bir Studio not defteri için bu, sonuçların not defteri bağlamında gösterildiği basit bir Flink SQL seçme sorgusu olabilir. Apache Flink İçin Amazon Yönetilen Hizmet uygulamaları veya Studio not defterleri için desteklenen dillerde Apache Flink kodu yazabilirsiniz.
  3. Çıktı: İsteğe bağlı olarak bir uygulama çıktısını, verileri harici bir hedefe aktaracak şekilde yapılandırabilirsiniz. Bu çıktıları, Apache Flink İçin Amazon Yönetilen Hizmet uygulamaları ve Studio not defterlerinin uygulama kodunun içine eklersiniz. 

S: Hangi uygulama kodu desteklenmektedir?

Apache Flink İçin Amazon Yönetilen Hizmet, açık kaynaklı Apache Flink kitaplıkları ve kendi özel kodunuzla birlikte Java, Scala ve Python kullanılarak oluşturulmuş uygulamaları desteklemektedir. Apache Flink İçin Amazon Yönetilen Hizmet, açık kaynaklı Apache Beam kitaplıkları ve kendi özel kodunuzla birlikte Java kullanılarak oluşturulmuş uygulamaları da desteklemektedir. Apache Flink Studio için Amazon Yönetilen Hizmet, Apache Flink uyumlu SQL, Python ve Scala kullanılarak oluşturulmuş kodları desteklemektedir.

Uygulamaları yönetme

S: Apache Flink İçin Amazon Yönetilen Hizmet uygulamalarımın işlemlerini ve performansını nasıl izleyebilirim?
AWS, Apache Flink uygulamalarının Flink Panosu'na erişim dahil olmak üzere Apache Flink İçin Amazon Yönetilen Hizmet uygulamalarınızı izlemek amacıyla kullanabileceğiniz çeşitli araçlar sağlar. Bu araçlardan bazılarını sizin adınıza izleme yapacak şekilde yapılandırabilirsiniz. Uygulamanızı nasıl izleyeceğinizle ilgili daha fazla bilgi için aşağıdaki geliştirici kılavuzlarını inceleyin: 
 

S: Apache Flink İçin Amazon Yönetilen Hizmet uygulamalarıma erişimi nasıl yönetirim ve denetlerim?

Apache Flink için Amazon Yönetilen Hizmet, uygulamanızda belirttiğiniz akış veri kaynaklarından kayıtları okumak için izinlere ihtiyaç duyar. Apache Flink İçin Amazon Yönetilen Hizmet, uygulama çıktınızı uygulama çıktı yapılandırmanızda belirtilen hedeflere yazmak için de izinlere ihtiyaç duyar. Bu izinleri, Apache Flink İçin Amazon Yönetilen Hizmet'in üstlenebileceği AWS Kimlik ve Erişim Yönetimi (IAM) rolleri oluşturarak verebilirsiniz. Bu role verdiğiniz izinler, hizmet bu rolü üstlendiğinde Apache Flink İçin Amazon Yönetilen Hizmet'in neler yapabileceğini belirler. Daha fazla bilgi için aşağıdaki geliştirici kılavuzlarını inceleyin:

S: Apache Flink İçin Amazon Yönetilen Hizmet, uygulamamı nasıl ölçeklendiriyor? 

Apache Flink İçin Amazon Yönetilen Hizmet, uygulamanızı kaynak akışınızın veri aktarım hızına ve çoğu senaryo için sorgu karmaşıklığınıza uyum sağlayacak şekilde esnek biçimde ölçeklendirir. Apache Flink İçin Amazon Yönetilen Hizmet, Amazon KPU'ları biçiminde kapasite sağlar. Bir KPU size 1 vCPU ve 4 GB bellek sağlar. 

Apache Flink İçin Amazon Yönetilen Hizmet, Apache Flink uygulamaları ve Studio not defterlerine uygulamanızın denetim noktaları için kullandığı ve geçici disk aracılığıyla kullanabileceğiniz KPU başına 50 GB çalışan uygulama depolama alanı tahsis eder. Denetim noktası, bir uygulama kesintisinden hemen kurtulmak için kullanılan, çalışan bir uygulamanın güncel bir yedeklemesidir. Ayrıca API'deki Parallelism ve ParallelismPerKPU parametrelerini kullanarak Apache Flink İçin Amazon Yönetilen Hizmet uygulaması görevlerinizin paralel yürütmesini (örneğin bir kaynaktan okuma veya bir işleci yürütme) de denetleyebilirsiniz. Paralellik, bir görevin eş zamanlı bulut sunucularının sayısını tanımlar. Tüm işleçler, kaynaklar ve biriktiriciler, varsayılan olarak tanımlanmış bir paralellik ile çalışır. KPU başına paralellik, varsayılan olarak uygulamanızın KPU'su başına planlanabilecek paralel görevlerin sayısını tanımlar. Daha fazla bilgiyi Apache Flink İçin Amazon Yönetilen Hizmet Geliştirici Kılavuzu'ndaki Ölçeklendirme bölümünde bulabilirsiniz. 
 
S: Apache Flink İçin Amazon Yönetilen Hizmet uygulamalarımı oluşturmak ve yönetmek için ilişkili en iyi uygulamalar nelerdir?
Apache Flink ile ilgili en iyi uygulamalar hakkında bilgiyi Apache Flink İçin Amazon Yönetilen Hizmet Geliştirici Kılavuzu'ndaki En İyi Uygulamalar bölümünde bulabilirsiniz. Bu bölüm; hata toleransı, performans, günlük kaydı, kodlama ve daha fazlası için en iyi uygulamaları kapsamaktadır. 
 
Apache Flink Studio İçin Amazon Yönetilen Hizmet ile ilgili en iyi uygulamalar hakkında bilgiyi Apache Flink Studio İçin Amazon Yönetilen Hizmet Geliştirici Kılavuzu'ndaki En İyi Uygulamalar bölümünde bulabilirsiniz. Bu bölümde, en iyi uygulamalara ek olarak SQL, Python ve Scala uygulamaları için örnekler, kodunuzu sürekli çalışan bir akış işleme uygulaması olarak dağıtmak için gerekenler, performans, günlüğe kaydetme ve daha fazlası ele alınmaktadır.
 
S: Bir Apache Flink İçin Amazon Yönetilen Hizmet uygulamasıyla Amazon VPC'nin arkasındaki kaynaklara erişebilir miyim?
Evet. Bir Amazon VPC'nin arkasındaki kaynaklara erişebilirsiniz. Uygulamanızı VPC erişimine yönelik olarak nasıl yapılandıracağınızı, Apache Flink İçin Amazon Yönetilen Hizmet Geliştirici Kılavuzu'ndaki Amazon VPC'yi Kullanma bölümünden öğrenebilirsiniz.
 
S: Tek bir Apache Flink İçin Amazon Yönetilen Hizmet uygulaması birden çok VPC'ye erişebilir mi?
Hayır. Birden fazla alt ağ belirtiliyorsa hepsinin aynı VPC'de olması gerekir. VPC'lerinizi eşleyerek diğer VPC'lere bağlanabilirsiniz.
 
S: Bir VPC'ye bağlı bir Apache Flink İçin Amazon Yönetilen Hizmet uygulaması internete ve AWS hizmet uç noktalarına erişebilir mi?
Belirli bir VPC'deki kaynaklara erişmek üzere yapılandırılmış Apache Flink İçin Amazon Yönetilen Hizmet uygulamaları ve Apache Flink Studio İçin Amazon Yönetilen Hizmet not defterlerinin varsayılan yapılandırma olarak internete erişimi yoktur. Uygulamanızın internet erişimini nasıl yapılandıracağınızı Apache Flink İçin Amazon Yönetilen Hizmet Geliştirici Kılavuzu'ndaki İnternet ve Hizmet Erişimi bölümünden öğrenebilirsiniz.

Fiyatlandırma ve faturalandırma

S: Apache Flink İçin Amazon Yönetilen Hizmet'in maliyeti nedir?
Apache Flink İçin Amazon Yönetilen Hizmet ile yalnızca kullandığınız kadar ödersiniz. Apache Flink İçin Amazon Yönetilen Hizmet ile bağlantılı tedarik edilecek kaynak veya peşin ödeme yoktur. 

Akış uygulamanızı çalıştırmak için kullanılan Amazon KPU'larının sayısına göre saatlik olarak ücretlendirilirsiniz. Tek bir KPU, 1 vCPU işlem ve 4 GB bellekten oluşan bir akış işleme kapasitesi birimidir. Apache Flink İçin Amazon Yönetilen Hizmet, işleme karmaşıklığına ve işlenen akış verilerinin aktarım hızına göre bellek ve işlem talepleri değiştikçe akış işleme uygulamanızın ihtiyaç duyduğu KPU sayısını otomatik olarak ölçeklendirir. 
 
Apache Flink ve Apache Beam uygulamalarında, uygulama düzenleme için uygulama başına tek bir ek KPU ücreti ödersiniz. Apache Flink ve Apache Beam uygulamaları, çalışan uygulama depolaması ve dayanıklı uygulama yedeklemeleri için de ücretlendirilir. Çalışan uygulama depolaması, Apache Flink İçin Amazon Yönetilen Hizmet'te durum bilgisine dayalı işleme özellikleri için kullanılır ve GB/ay başına ücretlendirilir. Dayanıklı uygulama yedeklemeleri isteğe bağlıdır, GB/ay başına ücretlendirilir ve uygulamalar için belirli bir zamana kurtarma noktası sağlar. 
 
Apache Flink Studio İçin Amazon Yönetilen Hizmet'in geliştirme veya etkileşim modunda uygulama düzenleme için ek bir KPU ve etkileşimli geliştirme için 1 KPU ile ücretlendirilirsiniz. Çalışan uygulama depolama alanı için de ücretlendirilirsiniz. Dayanıklı uygulama yedeklemeleri için ücret alınmaz.
 
Daha fazla fiyatlandırma bilgisini Apache Flink İçin Amazon Yönetilen Hizmet fiyatlandırma sayfasında bulabilirsiniz.
 
S: Çalışan ancak kaynaktan herhangi bir veriyi işlemeyen Apache Flink İçin Amazon Yönetilen Hizmet uygulaması üzerinden ücretlendiriliyor muyum?
Apache Flink ve Apache Beam uygulamaları durumunda, Apache Flink İçin Amazon Yönetilen Hizmet uygulamanız çalışıyorsa minimum 2 KPU ve 50 GB çalışan uygulama depolama alanı için ücretlendirilirsiniz.
 
Apache Flink Studio İçin Amazon Yönetilen Hizmet not defterleri durumunda, uygulamanız çalışıyorsa minimum 3 KPU ve 50 GB çalışan uygulama depolama alanı için ücretlendirilirsiniz.
 
S: Apache Flink İçin Amazon Yönetilen Hizmet maliyetleri dışında karşılaşabileceğim başka maliyetler var mı?
Apache Flink İçin Amazon Yönetilen Hizmet, verileri okuduğu akış kaynağından ve işlenmiş verileri yazdığı hedeflerden bağımsız, tam olarak yönetilen bir akış işleme çözümüdür. Uygulamanızda okuduğunuz ve yazdığınız hizmetler için bağımsız olarak faturalandırılacaksınız.
 
S: Apache Flink İçin Amazon Yönetilen Hizmet, AWS Ücretsiz Kullanım kapsamında kullanılabilir mi?
Hayır. Apache Flink İçin Amazon Yönetilen Hizmet şu anda AWS Ücretsiz Kullanım kapsamında kullanılamaz.

IDE'nizde Apache Flink kullanan uygulamalar için uygulama kodu yazma

S: Apache Flink nedir?
Apache Flink, akış ve toplu veri işleme için açık kaynak bir çerçeve ve altyapıdır. Güçlü işleçler sağladığından ve yinelenen işleme gibi temel akış sorunlarını çözdüğünden akış uygulamalarının oluşturulmasını kolaylaştırır. Apache Flink, veri akışlarında dağıtılmış hesaplamalar için veri dağıtımı, iletişim ve hata toleransı sağlar.
 
S: Nasıl uygulama geliştirebilirim?
AWS SDK, Apache Flink ve AWS hizmetleri için bağlayıcılar gibi açık kaynaklı kitaplıkları indirerek başlayabilirsiniz. Apache Flink İçin Amazon Yönetilen Hizmet Geliştirici Kılavuzu'ndan kitaplıkları nasıl indireceğiniz ve ilk uygulamanızı nasıl oluşturacağınızla ilgili talimatları edinin.
 
S: Uygulama kodum neye benziyor?
Veri akışlarını ve akış işleçlerini kullanarak Apache Flink uygulama kodunuzu yazarsınız. Uygulama veri akışları, kodunuzu kullanarak işleme gerçekleştirdiğiniz veri yapısıdır. Veriler sürekli olarak kaynaklardan uygulama veri akışlarına akar. Uygulama veri akışlarında işlemelerinizi tanımlamak için dönüştürme, bölümleme, toplama, birleştirme ve zaman aralığı dahil olmak üzere bir veya daha fazla akış işleci kullanılır. Veri akışları ve işleçler, seri ve paralel zincirlerde birbirine bağlanabilir. Sözde kod kullanılan kısa bir örnek aşağıda gösterilmiştir. 
DataStream <GameEvent> rawEvents = env.addSource(
 New KinesisStreamSource(“input_events”));
DataStream <UserPerLevel> gameStream =
 rawEvents.map(event - > new UserPerLevel(event.gameMetadata.gameId, 
   event.gameMetadata.levelId,event.userId));
gameStream.keyBy(event -> event.gameId)
            .keyBy(1)
            .window(TumblingProcessingTimeWindows.of(Time.minutes(1)))
            .apply(...) - > {...};
gameStream.addSink(new KinesisStreamSink("myGameStateStream"));
S: Apache Flink işleçlerini nasıl kullanırım?
İşleçler, bir uygulama veri akışını giriş olarak alır ve işlenen verileri çıktı olarak bir uygulama veri akışına gönderir. İşleçler, birden çok adımlı uygulamalar oluşturmak için birbirine bağlanabilir ve uygulamak ve çalıştırmak için dağıtılmış sistemlere yönelik ileri düzeyde bilgi gerektirmezler.
 
S: Hangi işleçler desteklenmektedir?
Apache Flink İçin Amazon Yönetilen Hizmet; eşleme, KeyBy, toplamalar, zaman aralıkları, birleştirmeler ve daha fazlası dahil olmak üzere çok çeşitli kullanım durumlarını çözmek amacıyla kullanılabilen Apache Flink'in tüm işleçlerini desteklemektedir. Örneğin eşleme işleci, gelen bir veri akışından bir öğeyi alarak ve başka bir öğe üreterek isteğe bağlı işleme gerçekleştirmenize olanak tanır. KeyBy, benzer veri noktalarını birlikte işleyebilmeniz için belirli bir anahtar kullanarak verileri mantıksal olarak düzenler. Toplamalar; toplam, minimum ve maksimum gibi birden çok anahtar arasında işleme gerçekleştirir. Zaman Aralığı Birleştir, iki veri akışını belirli bir anahtar ve zaman aralığında birleştirir. 

Bunlar ihtiyaçlarınızı karşılamıyorsa özel işleçler oluşturabilirsiniz. Apache Flink İçin Amazon Yönetilen Hizmet Geliştirici Kılavuzu'ndaki İşleçler bölümünde daha fazla örnek bulabilirsiniz. Apache Flink işleçlerinin tam bir listesini Apache Flink belgelerinde bulabilirsiniz. 
 
S: Bir Apache Flink İçin Amazon Yönetilen Hizmet uygulamasında hangi entegrasyonlar desteklenmektedir?
Apache Flink tarafından sağlanan önceden oluşturulmuş entegrasyonları minimum kodla kurabilir veya hemen hemen her veri kaynağına bağlanmak için kendi entegrasyonunuzu oluşturabilirsiniz. Apache Flink'e dayalı açık kaynak kitaplıkları, veri dağıtımını işlemek için akış kaynaklarını ve hedeflerini veya biriktiricilerini destekler. Buna zaman uyumsuz G/Ç bağlayıcıları aracılığıyla veri zenginleştirme desteği de dahildir. Bu bağlayıcılardan bazıları aşağıdakileri içerir:
 
  • Akış veri kaynakları: Apache Kafka İçin Amazon Yönetilen Akış (Amazon MSK), Amazon Kinesis Veri Akışları Hedefleri veya biriktiriciler: Amazon Kinesis Veri Akışları
  • Amazon Kinesis Data Firehose, Amazon DynamoDB, Amazon Elasticsearch Hizmeti ve Amazon S3 (dosya biriktirici entegrasyonları aracılığıyla)

S: Apache Flink İçin Amazon Yönetilen Hizmet uygulamaları, verileri akışlar ve konular arasında çoğaltabilir mi?

Evet. Apache Flink İçin Amazon Yönetilen Hizmet uygulamalarını, Amazon Kinesis Veri Akışları, Amazon MSK ve diğer sistemler arasında veri çoğaltmak için kullanabilirsiniz. Belgelerimizde verilen bir örnek, bir Amazon MSK konusundan okumayı ve bir başkasına yazmayı göstermektedir.
 
S: Özel entegrasyonlar destekleniyor mu?
Uygulamanızı dosyalardan, dizinlerden, soketlerden veya internet üzerinden erişebileceğiniz herhangi bir şeyden okumanızı ve bunlara yazmanızı sağlayan temel öğelerin bir kümesi üzerinde oluşturarak ona bir kaynak veya hedef ekleyebilirsiniz. Apache Flink, veri kaynakları ve veri biriktiricileri için bu temel öğeleri sağlar. Temel öğeler, verileri sürekli veya bir kez, zaman uyumsuz veya zaman uyumlu ve daha fazla şekilde okuma ve yazma becerisi gibi yapılandırmalarla birlikte gelir. Örneğin mevcut dosya tabanlı kaynak entegrasyonunu genişleterek bir uygulamayı Amazon S3'ten sürekli okuma yapacak şekilde ayarlayabilirsiniz.
 
S: Apache Flink İçin Amazon Yönetilen Hizmet uygulamaları hangi dağıtım ve işleme modelini sağlamaktadır?
Bir uygulama, kaynaklar ve biriktiriciler dahil olmak üzere eş güçlü işleçler kullanılarak oluşturulmuşsa Apache Flink İçin Amazon Yönetilen Hizmet'teki Apache Flink uygulamaları tam olarak bir kez teslim modelini kullanır. Bu, işlenen verilerin aşağı akış sonuçlarını bir kez ve yalnızca bir kez etkilediği anlamına gelir.
 
Varsayılan olarak Apache Flink İçin Amazon Yönetilen Hizmet uygulamaları, Apache Flink'in tam olarak bir kez semantiğini kullanır. Uygulamalarınızı Apache Flink'in tam olarak bir kez semantiğini kullanan kaynaklar, işleçler ve biriktiricileri kullanarak tasarlarsanız uygulamanız tam olarak bir kez işleme semantiğini destekler
 
S: Uygulama depolama alanımdan yerel depolamaya erişimim var mı?
Evet. Apache Flink İçin Amazon Yönetilen Hizmet uygulamaları, uygulamanıza KPU başına 50 GB çalışan uygulama depolama alanı sağlar. Apache Flink İçin Amazon Yönetilen Hizmet, uygulamanızla birlikte depolamayı ölçeklendirir. Çalışan uygulama depolama alanı, denetim noktalarını kullanarak uygulama durumunu kaydetmek için kullanılır. Verileri önbelleğe almak veya başka herhangi bir amaç için geçici disk olarak kullanılmak üzere uygulama kodunuz tarafından da erişilebilirdir. Apache Flink İçin Amazon Yönetilen Hizmet, denetim noktaları aracılığıyla kaydedilmemiş (örneğin işleçler, kaynaklar, biriktiriciler), çalışan uygulama depolama alanındaki verileri istediği zaman kaldırabilir. Çalışan uygulama depolama alanında kayıtlı tüm veriler bekleme durumunda şifrelenir.
 
S: Apache Flink İçin Amazon Yönetilen Hizmet, uygulamamı otomatik olarak nasıl yedekliyor?
Apache Flink İçin Amazon Yönetilen Hizmet, denetim noktalarını ve anlık görüntüleri kullanarak çalışan uygulamanızın durumunu otomatik olarak yedekler. Denetim noktaları mevcut uygulama durumunu kaydeder ve hatasız bir yürütme ile aynı semantiği sağlamak üzere Apache Flink İçin Amazon Yönetilen Hizmet uygulamalarının uygulama konumunu kurtarmasını sağlar. Denetim noktaları, çalışan uygulama depolama alanını kullanır. Apache Flink uygulamalarının denetim noktaları, Apache Flink'in denetim noktası oluşturma işlevi aracılığıyla sağlanır. Anlık görüntüler, uygulamalar için belirli bir zamana bir kurtarma noktasını kaydeder ve dayanıklı uygulama yedeklemeleri kullanır. Anlık görüntüler, Flink kaydetme noktaları ile benzerdir.
 
S: Uygulama anlık görüntüleri nedir?
Anlık görüntülerle zamanda geçmiş bir nokta oluşturabilir ve uygulamanızı bu noktaya geri yükleyebilirsiniz. Bu sayede önceki uygulama durumunu koruyabilir ve uygulamanızı istediğiniz zaman geriye döndürebilirsiniz. Herhangi bir zamanda sıfırdan binlerce anlık görüntüye kadar kaç anlık görüntüye sahip olacağınızı denetleyebilirsiniz. Anlık görüntüler, dayanıklı uygulama yedeklemeleri kullanır ve Apache Flink İçin Amazon Yönetilen Hizmet, sizden bunların boyutlarına göre ücret alır. Apache Flink İçin Amazon Yönetilen Hizmet, anlık görüntülere kaydedilen verileri varsayılan olarak şifreler. Anlık görüntüleri API aracılığıyla tek tek veya uygulamanızı silerek tamamen kaldırabilirsiniz.
 
S: Apache Flink'in hangi sürümleri desteklenmektedir?
Desteklenen Apache Flink sürümleri hakkında daha fazla bilgi edinmek üzere Apache Flink İçin Amazon Yönetilen Hizmet Sürüm Notları sayfasını ziyaret edin. Bu sayfa Apache Flink İçin Amazon Yönetilen Hizmet tarafından desteklenen Apache Beam, Java, Scala, Python ve AWS SDK'lerinin sürümlerini de içerir. 
 
S: Apache Flink İçin Amazon Yönetilen Hizmet uygulamaları Apache Beam'i çalıştırabilir mi?
Evet. Apache Flink İçin Amazon Yönetilen Hizmet, Apache Beam kullanılarak oluşturulmuş akış uygulamalarını destekler. Apache Beam akış uygulamalarını Java'da oluşturabilir ve Apache Flink İçin Amazon Yönetilen Hizmet üzerinde Apache Flink'in kullanılması dahil olmak üzere farklı motor ve hizmetlerde çalıştırabilirsiniz. Desteklenen Apache Flink ve Apache Beam sürümleriyle ilgili bilgiyi Apache Flink İçin Amazon Yönetilen Hizmet Geliştirici Kılavuzu'nda bulabilirsiniz. 

S: Bir Studio uygulamasını nasıl geliştiririm?
Apache Flink Studio için Amazon Yönetilen Hizmet, Amazon Kinesis Veri Akışları veya Amazon MSK konsollarından başlayarak birkaç adımda veri akışlarını hemen sorgulamak ve etkileşimli veri analizi gerçekleştirmek üzere bir sunucusuz not defteri başlatabilirsiniz.
 
Etkileşimli veri analizi: Saniye cinsinden yanıt süreleriyle akış verilerinizle etkileşimde bulunmak için SQL, Python veya Scala dillerinde not defterine kod yazabilirsiniz. Verileri keşfetmek için yerleşik görselleştirmeleri kullanabilir, not defterinizden akış verilerinizle ilgili gerçek zamanlı öngörüleri görüntüleyebilir ve Apache Flink ile akış işleme uygulamaları geliştirebilirsiniz.

Kodunuz bir üretim uygulaması olarak çalışmaya hazır olduğunda sunucular olmadan saniyede gigabaytlarca veri işleyen bir akış işleme uygulamasına tek adımda geçiş yapabilirsiniz.

Akış işleme uygulaması: Kodunuzu üretim için geliştirmeye hazır olduğunuzda not defteri arabiriminde "Akış işleme uygulaması olarak dağıt" seçeneğine tıklayarak kodunuzu oluşturabilir veya CLI'de tek bir komut verebilirsiniz. Studio, tıpkı bir Apache Flink için Amazon Yönetilen Hizmet uygulamasında olduğu gibi otomatik ölçeklendirme ve dayanıklı durum etkinken akış işleme uygulamanızı uygun ölçekte çalıştırmanız için gereken tüm altyapı yönetimini üstlenir.

S: Uygulama kodum neye benziyor?
Apache Flink'in Tablo API'sini kullanarak not defterine tercih ettiğiniz SQL, Python veya Scala dilinde kod yazabilirsiniz. Tablo API'si, SQL'in yeteneklerinin bir üst kümesini destekleyen üst düzey bir soyutlama API'si ve ilişkisel bir API'dir. Zaman aralığı gibi akışa özgü kavramlarla birlikte seçme, filtreleme, birleştirme, gruplama, toplama vb. gibi bilinen işlemleri sunar. Not defterinin bir bölümünde kullanılacak dili belirtmek için % kullanırsınız ve diller arasında geçiş yapabilirsiniz. Yorumlayıcılar, Apache Zeppelin eklentileridir. Böylece not defterinin her bölümü için bir dil veya veri işleme motoru belirleyebilirsiniz. Ayrıca kullanıcı tanımlı işlevler oluşturabilir ve kod işlevselliğini geliştirmek için bunlara referans verebilirsiniz.

S: Hangi SQL işlemleri desteklenmektedir?
Aşağıdakiler gibi SQL işlemlerini gerçekleştirebilirsiniz:

  • Tarama ve filtreleme (SELECT, WHERE) 
  • Toplamalar (GROUP BY, GROUP BY WINDOW, HAVING) 
  • Küme (UNION, UNIONALL, INTERSECT, IN, EXISTS) 
  • Sıralama (ORDER BY, LIMIT) 
  • Birleştirmeler (INNER, OUTER, Zamanlanmış Aralık – BETWEEN, AND, Zamansal Tablolarla Birleştirme – zaman içindeki değişiklikleri izleyen tablolar)
  • Top-N
  • Tekilleştirme
  • Örüntü tanıma 

GROUP BY, OUTER JOIN ve Top-N gibi bu sorgulardan bazıları, akış verileri için güncellenen sonuçlarıdır. Bu, akış verileri işlenirken sonuçların sürekli olarak güncellendiği anlamına gelir. CREATE, ALTER ve DROP gibi diğer DDL ifadeleri de desteklenmektedir. Sorguların ve örneklerin tam bir listesi için Apache Flink Sorguları belgelerine bakınız.

S: Python ve Scala nasıl desteklenmektedir?

Apache Flink'in Tablo API'si, Python dizeleri ve Scala ifadelerini kullanarak dil entegrasyonu aracılığıyla Python ve Scala'yı desteklemektedir. Desteklenen işlemler; seçme, sıralama, gruplama, birleştirme, filtreleme ve zaman aralığı dahil olmak üzere desteklenen SQL işlemlerine çok benzemektedir. İşlemlerin ve örneklerin tam bir listesi geliştirici kılavuzumuza dahil edilmiştir.

S: Apache Flink ve Apache Zeppelin'in hangi sürümleri desteklenmektedir?

Desteklenen Apache Flink sürümleri hakkında daha fazla bilgi edinmek üzere Apache Flink İçin Amazon Yönetilen Hizmet Sürüm Notları sayfasını ziyaret edin. Bu sayfa Apache Flink İçin Amazon Yönetilen Hizmet'in desteklediği Apache Zeppelin, Apache Beam, Java, Scala, Python ve AWS SDK'lerinin sürümlerini de içerir.

S: Apache Flink Studio İçin Amazon Yönetilen Hizmet uygulamasında varsayılan olarak hangi entegrasyonlar desteklenmektedir?

  • Veri kaynakları: Apache Kafka İçin Amazon Yönetilen Akış (Amazon MSK), Amazon Kinesis Veri Akışları, Amazon S3 
  • Hedefler veya biriktiriciler: Amazon MSK, Amazon Kinesis Veri Akışları ve Amazon S3

S: Özel entegrasyonlar destekleniyor mu?
Apache Flink destekli tüm entegrasyonlarla bağlantıları tanımlamak için birkaç adımda ve Apache Flink kodu satırıyla (Python, Scala veya Java) ek entegrasyonlar yapılandırabilirsiniz. Bu; Amazon OpenSearch Hizmeti, Redis İçin Amazon ElastiCache, Amazon Aurora, Amazon Redshift, Amazon DynamoDB, Amazon Keyspaces ve daha fazlası gibi hedefleri içerir. Apache Flink Studio İçin Amazon Yönetilen Hizmet uygulamanızı oluştururken veya yapılandırırken bu özel bağlayıcılar için yürütülebilir dosyalar ekleyebilirsiniz.

Hizmet Düzeyi Sözleşmesi

S: Apache Flink İçin Amazon Yönetilen Hizmet SLA ne garanti ediyor?

Hizmet düzeyi sözleşmemiz (SLA), Apache Flink İçin Amazon Yönetilen Hizmet için en az %99,9 Aylık Çalışma Süresi Yüzdesi garanti eder.

S: Bir SLA Hizmet Kredisi hakkından yararlanıp yararlanamayacağımı nasıl anlayabilirim?

Aynı AWS bölgesi içinde bulunan ve bir görev yürüttüğünüz birden fazla Erişilebilirlik Alanı, herhangi bir fatura döneminde %99,9'dan az bir Aylık Çalışma Süresi Yüzdesine sahipse Apache Flink İçin Amazon Yönetilen Hizmet SLA'sı kapsamı altında Apache Flink İçin Amazon Yönetilen Hizmet için bir SLA Hizmet Kredisi alma hakkına sahip olursunuz. Tüm SLA hüküm ve koşullarının yanı sıra nasıl kredi talebinde bulunacağınıza ilişkin ayrıntılar için Apache Flink İçin Amazon Yönetilen Hizmet SLA ayrıntıları sayfasını ziyaret edin.

Amazon Kinesis Veri Analizi'ni kullanmaya başlayın

Kinesis Veri Analizi fiyatlandırma sayfasını ziyaret edin
Maliyetlerinizi hesaplayın

Amazon Kinesis Veri Analizi fiyatlandırma sayfasını ziyaret edin.

Read the documentation
Kullanmaya başlama kılavuzunu inceleyin

Bu adım adım kılavuzda, Amazon Kinesis Veri Analizi'ni, SQL ya da Apache Flink için nasıl kullanacağınızı öğrenin.

Konsolda oluşturmaya başlayın
Akış uygulamaları oluşturmaya başlayın

Amazon Kinesis Veri Analizi konsoluyla ilk akış uygulamanızı oluşturun.