Adı Amazon Kinesis Data Analytics’ten Değiştirilen Apache Flink için Amazon Yönetilen Hizmet Duyurusu

Orijinal makale: Link (Channy Yun)

Bugün, Apache Flink kullanarak gerçek zamanlı akış uygulamaları oluşturmanız ve çalıştırmanız için tamamen yönetilen ve sunucusuz bir hizmet olan Amazon Kinesis Data Analytics’in adını Apache Flink için Amazon Yönetilen Hizmet olarak değiştirdiğimizi duyuruyoruz.

Devam eden operasyonlar, geliştirmeler veya iş kullanım durumları üzerinde herhangi bir etki yaratmadan Flink uygulamalarınızda aynı deneyimi sunmaya devam ediyoruz. Kinesis Data Analytics’teki mevcut çalışan tüm uygulamalarınız herhangi bir değişiklik olmadan olduğu gibi çalışacaktır.

Birçok müşteri, canlı bir açık kaynak topluluğu ile çeşitli kullanım durumları için destek de dahil olmak üzere veri işleme için Apache Flink’i kullanıyor. Apache Flink uygulamaları sağlam ve popüler olmakla birlikte, paralel bilgi işlem veya konteyner kaynaklarının ölçeklendirilmesini ve koordinasyonunu gerektirdikleri için yönetilmeleri zor olabilir. Veri hacimlerinin, veri türlerinin ve veri kaynaklarının patlamasıyla birlikte müşteriler, performans ve maliyetlerden ödün vermeden daha hızlı ve daha derin içgörüler elde etmek için verilerine erişmenin, işlemenin, güvenliğini sağlamanın ve analiz etmenin daha kolay bir yoluna ihtiyaç duyuyor.

Apache Flink için Amazon Yönetilen Hizmet’i kullanarak veri kaynaklarını veya hedeflerini minimum kodla kurabilir ve entegre edebilir, Amazon Kinesis Data Streams ve Amazon Managed Streaming for Apache Kafka (Amazon MSK) gibi yüzlerce veri kaynağından saniyenin altında gecikmelerle sürekli olarak veri işleyebilir ve olaylara gerçek zamanlı olarak yanıt verebilirsiniz. Ayrıca Apache Zeppelin tarafından desteklenen yerleşik görselleştirmelere sahip Apache Flink Studio için Amazon Yönetilen Hizmet ile akış verilerini not defterleriyle yalnızca birkaç tıklamayla etkileşimli olarak analiz edebilirsiniz.

Apache Flink için Amazon Yönetilen Hizmet ile güvenli, uyumlu ve yüksek oranda kullanılabilir uygulamalar dağıtabilirsiniz. Yönetilecek sunucular ve kümeler, kurulacak bilgi işlem ve depolama altyapısı yoktur ve yalnızca uygulamalarınızın tükettiği kaynaklar için ödeme yaparsınız.

Apache Flink’i Destekleyen Bir Tarih
2016 yılında özel bir SQL motorunu temel alan Amazon Kinesis Data Analytics’i piyasaya sürdüğümüzden beri, SQL’in müşterilerin verimli durum bilgili akış işleme için ihtiyaç duyduğu yetenekleri sağlamak için tek başına yeterli olmadığını öğrendik. Bu nedenle, gerçek zamanlı veri akışlarını işlemeye yönelik popüler bir açık kaynaklı çerçeve ve motor olan Apache Flink’e yatırım yapmaya başladık.

2018’de müşterilerin Apache Flink kitaplıklarını kullanarak akış uygulamaları oluşturmalarına ve uygulamalarını oluşturmak için kendi entegre geliştirme ortamlarını (IDE) seçmelerine yönelik programlanabilir bir seçenek olarak Amazon Kinesis Data Analytics for Java desteğini sağladık. 2020’de Apache Flink’e yönelik sürekli desteğimizi vurgulamak amacıyla Amazon Kinesis Data Analytics for Java’yı Amazon Kinesis Data Analytics for Apache Flink olarak yeniden konumlandırdık. 2021’de, hızlı geliştirme için Apache Zeppelin tarafından desteklenen ve işleme motoru olarak Apache Flink’i kullanan basit, tanıdık bir dizüstü bilgisayar arayüzüne sahip Kinesis Data Analytics Studio‘yu (şimdiki adı Apache Flink Studio için Amazon Yönetilen Hizmet) başlattık.

2019’dan bu yana Apache Flink topluluğuyla daha yakın bir şekilde çalışarak Apache Flink’e yönelik Kinesis Data Streams ve Kinesis Data Firehose için olanlar gibi AWS konnektörleri alanında kod katkılarını artırdık ve yıllık Flink Forward etkinliklerine sponsor olduk. Yakın zamanda, diğer güncellemelerin yanı sıra bulutla birlikte çalışabilirliği geliştiren ve daha fazla havuz konektörü ve formatı ekleyen Flink 1.15 sürümüne Async Sink‘le katkıda bulunduk.

Konnektörlerin ötesinde, kullanılabilirlik iyileştirmelerine ve dağıtım seçeneklerine katkıda bulunmak için Flink topluluğuyla birlikte çalışmaya devam ediyoruz. Daha fazla bilgi edinmek için AWS Açık Kaynak Blogu’ndaki Apache Flink ile Konnektör Oluşturmayı Kolaylaştırma: Async Sink’e Giriş konusuna bakın.

Apache Flink için Amazon Yönetilen Hizmeti’ndeki Yeni Özellikler
Bahsettiğim gibi mevcut Flink uygulamalarınızı Kinesis Data Analytics (artık Apache Flink için Amazon Yönetilen Hizmet) üzerinde herhangi bir değişiklik yapmadan çalıştırmaya devam edebilirsiniz. Konsol değişikliği ve yeni özelliğin yanı sıra hizmetin bir kısmı hakkında sizi bilgilendirmek istiyorum; tek tıklamayla uçtan uca bir veri hattı oluşturduğunuz bir plan.

İlk olarak, Apache Flink için Amazon Yönetilen Hizmet’in yeni konsolunu doğrudan AWS’teki Analiz bölümünün altında kullanabilirsiniz. Başlamak için, yeni konsolda daha önce olduğu gibi aynı deneyimle kolayca Streaming applications (Akış uygulamaları) veya Studio notebooks (Studio not defterleri) oluşturabilirsiniz.

Yeni konsolda bir akış uygulaması oluşturmak için Create from scratch (Sıfırdan oluştur) veya Use a blueprint (Plan kullan) seçin. Yeni plan seçeneğiyle, AWS CloudFormation‘ı kullanmaya başlamak için ihtiyacınız olan tüm kaynakları tek adımda oluşturup ayarlayabilirsiniz.

Plan, Apache Flink uygulamalarının seçilmiş bir koleksiyonudur. Bunlardan ilki, Kinesis Data Stream’den okunan ve bir Amazon Simple Storage Service (Amazon S3) klasörüne yazılan demo verileridir.

Demo uygulamasını oluşturduktan sonra, Flink uygulamanızın durumunu daha önce olduğu gibi aynı deneyimlerle izlemek için Apache Flink kontrol panelini yapılandırabilir, çalıştırabilir ve açabilirsiniz. Kendi yerel geliştirme ortamınızdaki Flink kitaplıklarını kullanarak farklı işlemler gerçekleştirmek için GitHub deposundaki bir kod örneğini değiştirebilirsiniz.

Planlar genişletilebilir olacak şekilde tasarlanmıştır ve Apache Flink için Amazon Yönetilen Hizmet’i temel alarak iş zorluklarınızı çözmek amacıyla daha karmaşık uygulamalar oluşturmak için bunlardan yararlanabilirsiniz. AWS belgelerinde Apache Flink kitaplıklarının nasıl kullanılacağı hakkında daha fazla bilgi edinin.

Yeni bir kurulum seçeneği olarak Apache Zeppelin’i kullanarak Studio not defterinizi oluşturmak için bir plan da kullanabilirsiniz. Bu yeni plan seçeneğiyle, AWS CloudFormation’ı kullanmaya başlamak için ihtiyacınız olan tüm kaynakları tek bir adımda oluşturup ayarlayabilirsiniz.

Bu plan, demo verilerinin bir Amazon MSK konusuna gönderildiği ve Apache Flink için Yönetilen Hizmet’te okunduğu Apache Flink uygulamalarını içerir. Apache Zeppelin not defteriyle akış verilerinizi görüntüleyebilir, sorgulayabilir ve analiz edebilirsiniz. Planı dağıtmak ve Studio not defterini ayarlamak yaklaşık on dakika sürer. Biz hazırlanırken gidip bir fincan kahve alın!

Yeni Studio not defterini oluşturduktan sonra, daha önce olduğu gibi aynı deneyimlerle notunuzda SQL sorguları çalıştırmak için bir Apache Zeppelin not defteri açabilirsiniz. Apache Flink kitaplıklarının nasıl kullanılacağı hakkında daha fazla bilgi edinmek için GitHub deposundaki bir kod örneğini görüntüleyebilirsiniz.

Bu demo veriler üzerinde kullanıcı tanımlı işlevler, yuvarlanan ve atlayan pencereler, Top-N sorguları ve akış için bir S3 kovasına veri gönderme gibi daha fazla SQL sorgusu çalıştırabilirsiniz.

Ayrıca SQL sorgularınızı güçlendirmek ve notunuzu sürekli çalışan bir uygulama olarak dağıtmak için Java, Python veya Scala’yı da kullanabilirsiniz; blog gönderilerinde Studio not defterini nasıl kullanacağınızı ve Amazon MSK konularınızı nasıl sorgulayacağınızı görebilirsiniz.

Daha fazla plan örneği öğrenmek için MSK Serverless’tan okuma ve Amazon S3’ye yazma (Java), MSK Serverless’tan okuma ve MSK Serverless’a yazma, MSK Serverless’tan okuma ve Amazon S3’ye yazma (Python) gibi GitHub depolarına bakın.

Şimdi Kullanılabilir
Artık Amazon Kinesis Data Analytics’ten yeniden adlandırılan Apache Flink için Amazon Yönetilen Hizmet‘i kullanabilirsiniz. Kinesis Data Analytics’te çalışan mevcut tüm uygulamalarınız hiçbir değişiklik olmadan olduğu gibi çalışacaktır.

Daha fazla bilgi edinmek için yeni ürün sayfasını ve geliştirici kılavuzunu ziyaret edin. AWS re:Post for Amazon Managed Service for Apache Flink‘e veya her zamanki AWS Destek iletişim bilgileriniz aracılığıyla geri bildirim gönderebilirsiniz.