Umum

T: Apa itu Layanan Terkelola Amazon untuk Apache Flink?
Dengan Layanan Terkelola Amazon untuk Apache Flink, Anda dapat mengubah dan menganalisis data streaming secara waktu nyata dengan Apache Flink. Apache Flink adalah kerangka kerja sumber terbuka dan mesin untuk memproses aliran data. Layanan Terkelola Amazon untuk Apache Flink mengurangi kompleksitas saat membangun, mengelola, dan mengintegrasikan aplikasi Apache Flink dengan layanan AWS lainnya.
 
Layanan Terkelola Amazon untuk Apache Flink menangani semua yang diperlukan untuk terus menjalankan aplikasi streaming dan menskalakan secara otomatis agar sesuai dengan volume dan throughput data masuk Anda. Dengan Layanan Terkelola Amazon untuk Apache Flink, tidak ada server untuk dikelola, tidak ada biaya minimum atau biaya penyiapan, dan Anda hanya membayar sumber daya yang digunakan aplikasi streaming Anda.
 
T: Apa itu pemrosesan streaming waktu nyata dan mengapa saya membutuhkannya?
Perusahaan menyerap data lebih cepat dari sebelumnya karena pertumbuhan sumber data waktu nyata yang eksplosif. Baik Anda menangani data log dari aplikasi seluler dan web, membeli data dari platform e-commerce, atau data sensor dari perangkat IoT, menyerap data secara waktu nyata membantu Anda mempelajari apa yang dilakukan pelanggan, organisasi, dan bisnis Anda saat ini.
 
T: Apa yang dapat saya lakukan dengan Layanan Terkelola Amazon untuk Apache Flink?
Anda dapat menggunakan Layanan Terkelola Amazon untuk Apache Flink dalam banyak kasus penggunaan guna memproses data secara terus menerus agar dapat memperoleh wawasan dalam hitungan detik atau menit alih-alih menunggu berhari-hari atau bahkan berminggu-minggu. Layanan Terkelola Amazon untuk Apache Flink memungkinkan Anda dengan cepat membangun aplikasi pemrosesan streaming ujung ke ujung untuk analitik log, analitik clickstream, Internet untuk Segala (IoT), teknologi iklan, game, dan masih banyak lagi. Empat kasus penggunaan yang paling umum adalah streaming extract-transform-load (ETL), pembuatan metrik berkelanjutan, analitik waktu nyata responsif, dan kueri interaktif aliran data.
 
ETL Streaming
Dengan aplikasi ETL streaming, Anda dapat membersihkan, memperkaya, mengatur, dan mengubah data mentah sebelum memuat danau data atau gudang data Anda secara waktu nyata, yang mengurangi atau menghilangkan langkah-langkah ETL batch. Aplikasi ini dapat mem-buffer catatan kecil ke dalam file yang lebih besar sebelum mengirimkan dan melakukan penggabungan yang canggih di seluruh streaming dan tabel. Misalnya, Anda dapat membangun aplikasi yang terus membaca data sensor IoT yang disimpan di Amazon Managed Streaming for Apache Kafka (Amazon MSK), mengatur data berdasarkan jenis sensor, menghapus data duplikat, menormalkan data per skema tertentu, lalu mengirimkan data ke Amazon Simple Storage Service (Amazon S3).
 
Pembuatan metrik berkelanjutan
Dengan aplikasi pembuatan metrik berkelanjutan, Anda dapat memantau dan memahami tren data Anda dari waktu ke waktu. Aplikasi Anda dapat menggabungkan data streaming menjadi informasi penting dan mengintegrasikannya dengan basis data pelaporan dan layanan pemantauan untuk melayani aplikasi dan pengguna Anda secara waktu nyata. Dengan Layanan Terkelola Amazon untuk Apache Flink, Anda dapat menggunakan kode Apache Flink (di Java, Scala, Python, atau SQL) untuk terus menghasilkan analitik deret waktu sepanjang jendela waktu. Misalnya, Anda dapat membangun papan peringkat langsung untuk game seluler dengan menghitung pemain teratas setiap menit lalu mengirimkannya ke Amazon DynamoDB. Anda juga dapat melacak lalu lintas ke situs web Anda dengan menghitung jumlah pengunjung situs web unik setiap 5 menit lalu mengirimkan hasil yang diproses ke Amazon Redshift.
 
Analitik waktu nyata yang responsif
Aplikasi analitik waktu nyata yang responsif mengirimkan alarm atau notifikasi secara waktu nyata saat metrik tertentu mencapai ambang batas yang telah ditentukan atau, dalam kasus lanjutan, saat aplikasi Anda mendeteksi anomali menggunakan algoritma machine learning (ML). Dengan aplikasi ini, Anda dapat segera merespons perubahan dalam bisnis Anda secara waktu nyata, seperti memprediksi pengabaian pengguna di aplikasi seluler dan mengidentifikasi sistem yang terdegradasi. Misalnya, aplikasi dapat menghitung ketersediaan atau tingkat keberhasilan API yang dihadapi pelanggan dari waktu ke waktu lalu mengirimkan hasilnya ke Amazon CloudWatch. Anda dapat membangun aplikasi lain untuk mencari peristiwa yang memenuhi kriteria tertentu, lalu secara otomatis memberi tahu pelanggan yang tepat menggunakan Amazon Kinesis Data Streams dan Amazon Simple Notification Service (Amazon SNS).
 
Analisis interaktif aliran data
Analisis interaktif membantu Anda melakukan streaming eksplorasi data secara waktu nyata. Dengan kueri atau program ad hoc, Anda dapat memeriksa streaming dari Amazon MSK atau Amazon Kinesis Data Streams dan memvisualisasikan seperti apa data dalam streaming tersebut. Misalnya, Anda dapat melihat cara metrik waktu nyata yang menghitung rata-rata selama periode waktu berperilaku dan mengirim data agregat ke tujuan pilihan Anda. Analisis interaktif juga membantu pengembangan berulang aplikasi pemrosesan streaming. Kueri yang Anda buat terus diperbarui saat data baru tiba. Dengan Layanan Terkelola Amazon untuk Apache Flink Studio, Anda dapat melakukan deployment kueri ini agar berjalan terus menerus dengan penskalaan otomatis dan pencadangan status tahan lama diaktifkan. 
 

Memulai

T: Bagaimana cara memulai aplikasi Apache Flink untuk Layanan Terkelola Amazon untuk Apache Flink?
Masuk ke konsol Layanan Terkelola Amazon untuk Apache Flink dan buat aplikasi pemrosesan streaming baru. Anda juga dapat menggunakan AWS CLI dan AWS SDK. Setelah membuat aplikasi, buka lingkungan pengembangan terintegrasi pilihan Anda, hubungkan ke AWS, dan instal pustaka Apache Flink sumber terbuka dan AWS SDK dalam bahasa pilihan Anda. Apache Flink adalah kerangka kerja sumber terbuka dan mesin untuk memproses aliran data dan AWS SDK. Pustaka yang dapat diperluas mencakup lebih dari 25 operator pemrosesan streaming bawaan, seperti jendela dan agregat, dan integrasi layanan AWS, seperti Amazon MSK, Amazon Kinesis Data Streams, Amazon DynamoDB, dan Amazon Kinesis Data Firehose. Setelah dibuat, unggah kode Anda ke Layanan Terkelola Amazon untuk Apache Flink. Kemudian, layanan ini menangani semua yang diperlukan untuk terus menjalankan aplikasi waktu nyata Anda, termasuk penskalaan secara otomatis agar sesuai dengan volume dan throughput data masuk Anda. 
 
T: Bagaimana cara memulai aplikasi Apache Beam untuk Layanan Terkelola Amazon untuk Apache Flink?
Menggunakan Apache Beam untuk membuat aplikasi Layanan Terkelola Amazon untuk Apache Flink sangat mirip dengan memulai Apache Flink. Anda dapat mengikuti instruksi dalam pertanyaan di atas. Pastikan Anda menginstal komponen apa pun yang diperlukan agar aplikasi berjalan di Apache Beam, dengan mengikuti petunjuk di Panduan Developer. Perhatikan bahwa Layanan Terkelola Amazon untuk Apache Flink mendukung Java SDK hanya saat berjalan di Apache Beam. 
 
T: Bagaimana cara memulai Layanan Terkelola Amazon untuk Apache Flink Studio?
Anda dapat memulai dari konsol Layanan Terkelola Amazon untuk Apache Flink dan membuat notebook Studio baru. Setelah memulai notebook, Anda dapat membukanya di Apache Zeppelin untuk segera menulis kode dalam SQL, Python, atau Scala. Anda dapat mengembangkan aplikasi secara interaktif menggunakan antarmuka notebook untuk Amazon Kinesis Data Streams, Amazon MSK, dan Amazon S3 menggunakan integrasi bawaan dan sumber serta tujuan lain yang didukung Apache Flink dengan konektor khusus. Anda dapat menggunakan semua operator yang didukung Apache Flink di SQL Flink dan API Tabel untuk melakukan kueri aliran data ad hoc dan mengembangkan aplikasi pemrosesan streaming Anda. Setelah siap, Anda dapat membangun dan mempromosikan kode Anda ke aplikasi pemrosesan streaming yang terus berjalan dengan penskalaan otomatis dan status tahan lama dalam beberapa langkah. 
 
T: Apa saja batasan Layanan Terkelola Amazon untuk Apache Flink?
Layanan Terkelola Amazon untuk Apache Flink secara elastis menskalakan aplikasi Anda untuk mengakomodasi throughput data streaming sumber dan kompleksitas kueri untuk sebagian besar skenario. Untuk informasi terperinci tentang batas layanan untuk aplikasi Apache Flink, kunjungi bagian Batasan di Panduan Developer Layanan Terkelola Amazon untuk Apache Flink. 
 
T: Apakah Layanan Terkelola Amazon untuk Apache Flink mendukung pendaftaran skema?
Ya, dengan Konektor Aliran Data Apache Flink, aplikasi Layanan Terkelola Amazon untuk Apache Flink dapat menggunakan Registri Skema AWS Glue, yaitu fitur nirserver AWS Glue. Anda dapat mengintegrasikan Apache Kafka, Amazon MSK, dan Amazon Kinesis Data Streams, sebagai sink atau sumber, dengan beban kerja Layanan Terkelola Amazon untuk Apache Flink. Kunjungi Panduan Developer Registri Skema AWS Glue untuk memulai dan mempelajari selengkapnya. 

Konsep utama

T: Apa itu aplikasi Layanan Terkelola Amazon untuk Apache Flink?
Aplikasi adalah entitas Layanan Terkelola Amazon untuk Apache Flink yang bekerja dengan Anda. Aplikasi Layanan Terkelola Amazon untuk Apache Flink terus membaca dan memproses data streaming secara waktu nyata. Anda menulis kode aplikasi dalam bahasa yang didukung Apache Flink untuk memproses data streaming yang masuk dan menghasilkan output. Kemudian, Layanan Terkelola Amazon untuk Apache Flink menulis output ke tujuan yang dikonfigurasi.
 
Setiap aplikasi terdiri dari tiga komponen utama:
 
  1. Input: Input adalah sumber streaming untuk aplikasi Anda. Dalam konfigurasi input, Anda memetakan sumber streaming ke aliran data. Data mengalir dari sumber data Anda ke aliran data Anda. Anda memproses data dari aliran data ini menggunakan kode aplikasi Anda, yang mengirimkan data yang diproses ke aliran atau tujuan data berikutnya. Anda menambahkan input di dalam kode aplikasi untuk aplikasi Apache Flink dan notebook Studio serta melalui API untuk aplikasi Layanan Terkelola Amazon untuk Apache Flink. 
  2. Kode aplikasi: Kode aplikasi adalah serangkaian operator Apache Flink yang memproses input dan menghasilkan output. Dalam bentuknya yang paling sederhana, kode aplikasi dapat berupa operator Apache Flink tunggal yang membaca dari aliran data yang terkait dengan sumber streaming dan menulis ke aliran data lain yang terkait dengan output. Untuk notebook Studio, hal ini dapat berupa kueri pemilihan SQL Flink sederhana, dengan hasil yang ditampilkan dalam konteks di notebook. Anda dapat menulis kode Apache Flink dalam bahasa yang didukung untuk aplikasi Layanan Terkelola Amazon untuk Apache Flink atau notebook Studio.
  3. Output: Anda kemudian dapat secara opsional mengonfigurasi output aplikasi untuk mempertahankan data ke tujuan eksternal. Anda menambahkan output ini di dalam kode aplikasi untuk aplikasi Layanan Terkelola Amazon untuk Apache Flink dan notebook Studio. 

T: Kode aplikasi apa yang didukung?

Layanan Terkelola Amazon untuk Apache Flink mendukung aplikasi yang dibangun menggunakan Java, Scala, dan Python dengan pustaka Apache Flink sumber terbuka dan kode kustom Anda sendiri. Layanan Terkelola Amazon untuk Apache Flink juga mendukung aplikasi yang dibangun menggunakan Java dengan pustaka Apache Beam sumber terbuka dan kode pelanggan Anda sendiri. Layanan Terkelola Amazon untuk Apache Flink Studio mendukung kode yang dibuat menggunakan SQL, Python, dan Scala yang kompatibel dengan Apache Flink.

Mengelola aplikasi

T: Bagaimana cara memantau operasi dan performa aplikasi Layanan Terkelola Amazon untuk Apache Flink?
AWS menyediakan berbagai alat yang dapat Anda gunakan untuk memantau aplikasi Layanan Terkelola Amazon untuk Apache Flink termasuk akses ke Dasbor Flink untuk aplikasi Apache Flink. Anda dapat mengonfigurasi beberapa alat ini guna melakukan pemantauan untuk Anda. Untuk informasi selengkapnya tentang cara memantau aplikasi Anda, jelajahi panduan developer berikut: 
 

T: Bagaimana cara mengelola dan mengontrol akses ke aplikasi Layanan Terkelola Amazon untuk Apache Flink?

Layanan Terkelola Amazon untuk Apache Flink memerlukan izin untuk membaca catatan dari sumber data streaming yang Anda tentukan dalam aplikasi Anda. Layanan Terkelola Amazon untuk Apache Flink juga memerlukan izin untuk menulis output aplikasi Anda ke tujuan tertentu dalam konfigurasi output aplikasi Anda. Anda dapat memberikan izin ini dengan membuat peran AWS Identity and Access Management (IAM) yang dapat diambil oleh Layanan Terkelola Amazon untuk Apache Flink. Izin yang Anda berikan untuk peran ini menentukan apa yang dapat dilakukan Layanan Terkelola Amazon untuk Apache Flink saat layanan mengambil peran tersebut. Untuk informasi selengkapnya, lihat panduan developer berikut:

  • Memberikan izin di Panduan Developer Layanan Terkelola Amazon untuk Apache Flink.
  • Memberikan izin di Panduan Developer Layanan Terkelola Amazon untuk Apache Flink Studio.

T: Bagaimana Layanan Terkelola Amazon untuk Apache Flink menskalakan aplikasi saya?

Layanan Terkelola Amazon untuk Apache Flink menskalakan aplikasi Anda secara elastis untuk mengakomodasi throughput data streaming sumber dan kompleksitas kueri Anda untuk sebagian besar skenario. Layanan Terkelola Amazon untuk Apache Flink menyediakan kapasitas dalam bentuk KPU Amazon. Satu KPU memberi Anda 1 vCPU dan memori 4 GB. 

Untuk aplikasi Apache Flink dan notebook Studio, Layanan Terkelola Amazon untuk Apache Flink memberikan 50 GB untuk penyimpanan aplikasi yang sedang berjalan per KPU yang digunakan aplikasi Anda untuk titik pemeriksaan dan tersedia untuk digunakan melalui disk sementara. Titik pemeriksaan adalah cadangan terbaru dari aplikasi yang sedang berjalan yang digunakan untuk memulihkan segera dari gangguan aplikasi. Anda juga dapat mengontrol eksekusi paralel untuk tugas aplikasi Layanan Terkelola Amazon untuk Apache Flink (seperti membaca dari sumber atau menjalankan operator) menggunakan parameter Parallelism dan ParallelismPerKPU di API. Parallelism menentukan jumlah instans tugas yang bersamaan. Semua operator, sumber, dan sink berjalan dengan parallelism yang ditentukan secara default. Parallelism per KPU menentukan jumlah tugas paralel yang dapat dijadwalkan per KPU aplikasi Anda secara default. Untuk informasi selengkapnya, lihat Penskalaan di Panduan Developer Layanan Terkelola Amazon untuk Apache Flink. 
 
T: Apa praktik terbaik yang terkait untuk membangun dan mengelola aplikasi Layanan Terkelola Amazon untuk Apache Flink saya?
Untuk informasi tentang praktik terbaik seputar Apache Flink, lihat bagian Praktik Terbaik Panduan Developer Layanan Terkelola Amazon untuk Apache Flink. Bagian ini mencakup praktik terbaik untuk toleransi kesalahan, performa, logging, pengodean, dan banyak lagi. 
 
Untuk informasi tentang praktik terbaik Layanan Terkelola Amazon untuk Apache Flink Studio, lihat bagian Praktik Terbaik dari Panduan Developer Layanan Terkelola Amazon untuk Apache Flink Studio. Selain praktik terbaik, bagian ini mencakup contoh untuk aplikasi SQL, Python, dan Scala, persyaratan untuk melakukan deployment pada kode Anda sebagai aplikasi pemrosesan streaming yang terus berjalan, performa, logging, dan banyak lagi.
 
T: Dapatkah saya mengakses sumber daya di balik Amazon VPC dengan aplikasi Layanan Terkelola Amazon untuk Apache Flink?
Ya. Anda dapat mengakses sumber daya di balik Amazon VPC. Anda dapat mempelajari cara mengonfigurasi aplikasi untuk akses VPC di bagian Menggunakan Amazon VPC pada Panduan Developer Layanan Terkelola Amazon untuk Apache Flink.
 
T: Dapatkah satu aplikasi Layanan Terkelola Amazon untuk Apache Flink memiliki akses ke beberapa VPC?
Tidak. Jika beberapa subnet ditentukan, semuanya harus berada di VPC yang sama. Anda dapat terhubung ke VPC lainnya dengan melakukan peering terhadap VPC Anda.
 
T: Dapatkah aplikasi Layanan Terkelola Amazon untuk Apache Flink yang terhubung ke VPC mengakses internet dan titik akhir layanan AWS?
Aplikasi Layanan Terkelola Amazon untuk Apache Flink dan notebook Layanan Terkelola Amazon untuk Apache Flink Studio yang dikonfigurasi untuk mengakses sumber daya dalam VPC tertentu tidak memiliki akses ke internet sebagai konfigurasi default. Anda dapat mempelajari cara mengonfigurasi akses ke internet untuk aplikasi di bagian Akses Internet dan Layanan pada Panduan Developer Layanan Terkelola Amazon untuk Apache Flink.

Harga dan penagihan

T: Berapa biaya Layanan Terkelola Amazon untuk Apache Flink?
Dengan Layanan Terkelola Amazon untuk Apache Flink, Anda hanya membayar untuk apa yang Anda gunakan. Tidak ada sumber daya untuk penyediaan atau biaya di muka yang berkaitan dengan Layanan Terkelola Amazon untuk Apache Flink. 

Anda dikenakan tarif per jam berdasarkan jumlah KPU Amazon yang digunakan untuk menjalankan aplikasi streaming Anda. KPU tunggal adalah seperangkat kapasitas pemrosesan streaming yang meliputi 1 komputasi vCPU dan memori 4 GB. Layanan Terkelola Amazon untuk Apache Flink secara otomatis menskalakan jumlah KPU yang diperlukan oleh aplikasi pemrosesan streaming Anda karena permintaan memori dan komputasi yang bervariasi sebagai respons terhadap kompleksitas pemrosesan dan throughput data streaming yang diproses. 
 
Untuk aplikasi Apache Flink dan Apache Beam, Anda dikenakan biaya KPU tunggal tambahan per aplikasi untuk orkestrasi aplikasi. Aplikasi Apache Flink dan Apache Beam juga dikenakan biaya untuk penyimpanan aplikasi yang sedang berjalan dan aplikasi pencadangan yang tahan lama. Penyimpanan aplikasi yang sedang berjalan digunakan untuk kemampuan pemrosesan stateful di Layanan Terkelola Amazon untuk Apache Flink dan dikenakan biaya per GB-bulan. Pencadangan aplikasi yang tahan lama adalah pilihan, dikenai biaya per GB-bulan, dan menyediakan suatu titik pemulihan waktu tertentu bagi aplikasi. 
 
Untuk Layanan Terkelola Amazon untuk Apache Flink Studio, dalam mode pengembangan atau interaktif, Anda dikenakan biaya tambahan KPU untuk orkestrasi aplikasi dan 1 KPU untuk pengembangan interaktif. Anda juga dikenakan biaya untuk penyimpanan aplikasi yang sedang berjalan. Anda tidak dikenakan biaya untuk pencadangan aplikasi yang tahan lama.
 
Untuk informasi harga selengkapnya, lihat halaman harga Layanan Terkelola Amazon untuk Apache Flink.
 
T: Apakah saya dikenakan biaya untuk aplikasi Layanan Terkelola Amazon untuk Apache Flink yang sedang berjalan tetapi tidak memproses data apa pun dari sumbernya?
Untuk aplikasi Apache Flink dan Apache Beam, Anda dikenakan biaya minimal 2 KPU dan 50 GB untuk penyimpanan aplikasi yang sedang berjalan jika aplikasi Layanan Terkelola Amazon untuk Apache Flink Anda berjalan.
 
Untuk notebook Layanan Terkelola Amazon untuk Apache Flink Studio, Anda dikenakan biaya minimal 3 KPU dan 50 GB untuk penyimpanan aplikasi yang sedang berjalan jika aplikasi Anda berjalan.
 
T: Selain biaya Layanan Terkelola Amazon untuk Apache Flink, apakah ada biaya lain yang mungkin saya keluarkan?
Layanan Terkelola Amazon untuk Apache Flink adalah solusi pemrosesan streaming yang terkelola penuh, independen dari sumber streaming tempat data dibaca dan tujuan penulisan data yang diproses. Anda akan ditagih secara independen untuk layanan yang Anda baca dan tulis dalam aplikasi Anda.
 
T: Apakah Layanan Terkelola Amazon untuk Apache Flink tersedia di AWS Tingkat Gratis?
Tidak. Layanan Terkelola Amazon untuk Apache Flink saat ini tidak tersedia di AWS Tingkat Gratis.

Menulis kode aplikasi untuk aplikasi menggunakan Apache Flink di IDE Anda

Q: Apa itu Apache Flink?
Apache Flink adalah kerangka kerja dan mesin sumber terbuka untuk pemrosesan data streaming dan batch. Apache Flink memudahkan dibangunnya aplikasi streaming karena menyediakan operator yang kuat dan memecahkan masalah streaming inti seperti pemrosesan duplikat. Apache Flink menyediakan distribusi data, komunikasi, dan toleransi kesalahan untuk perhitungan terdistribusi melalui aliran data.
 
T: Bagaimana cara mengembangkan aplikasi?
Anda dapat memulai dengan mengunduh pustaka sumber terbuka termasuk AWS SDK, Apache Flink, dan konektor untuk layanan AWS. Dapatkan petunjuk tentang cara mengunduh pustaka dan membuat aplikasi pertama Anda di Panduan Developer Layanan Terkelola Amazon untuk Apache Flink.
 
T: Seperti apa kode aplikasi saya?
Anda menulis kode Apache Flink Anda menggunakan aliran data dan operator streaming. Aliran data aplikasi adalah struktur data yang pemrosesannya Anda lakukan menggunakan kode Anda. Data terus mengalir dari sumber ke aliran data aplikasi. Satu atau beberapa operator streaming digunakan untuk menentukan pemrosesan Anda pada aliran data aplikasi, termasuk transformasi, partisi, agregat, gabungan, dan jendela. Aliran data dan operator dapat dihubungkan dalam rantai serial dan paralel. Contoh singkat menggunakan kode semu ditunjukkan di bawah ini. 
DataStream <GameEvent> rawEvents = env.addSource(
 New KinesisStreamSource(“input_events”));
DataStream <UserPerLevel> gameStream =
 rawEvents.map(event - > new UserPerLevel(event.gameMetadata.gameId, 
   event.gameMetadata.levelId,event.userId));
gameStream.keyBy(event -> event.gameId)
            .keyBy(1)
            .window(TumblingProcessingTimeWindows.of(Time.minutes(1)))
            .apply(...) - > {...};
gameStream.addSink(new KinesisStreamSink("myGameStateStream"));
T: Bagaimana cara menggunakan operator Apache Flink?
Operator mengambil aliran data aplikasi sebagai input dan mengirim data yang diproses ke aliran data aplikasi sebagai output. Operator dapat dihubungkan untuk membangun aplikasi dengan beberapa langkah dan tidak memerlukan pengetahuan lanjutan tentang sistem terdistribusi untuk mengimplementasikan dan mengoperasikan.
 
T: Operator apa saja yang didukung?
Layanan Terkelola Amazon untuk Apache Flink mendukung semua operator dari Apache Flink yang dapat digunakan untuk memecahkan berbagai kasus penggunaan, termasuk peta, KeyBy, agregasi, jendela, gabungan, dan banyak lagi. Misalnya, operator peta memungkinkan Anda untuk melakukan pemrosesan acak, yang mengambil satu elemen dari aliran data yang masuk dan menghasilkan elemen lain. KeyBy secara logis mengatur data menggunakan kunci tertentu sehingga Anda dapat memproses titik data yang serupa bersama-sama. Agregasi melakukan pemrosesan di beberapa kunci, seperti jumlah, min, dan maks. Gabungan Jendela menggabungkan dua aliran data bersama-sama pada kunci dan jendela tertentu. 

Anda dapat membangun operator khusus jika hal ini tidak memenuhi kebutuhan Anda. Temukan lebih banyak contoh di bagian Operator dari Panduan Developer Layanan Terkelola Amazon untuk Apache Flink. Anda dapat menemukan daftar lengkap operator Apache Flink di dokumentasi Apache Flink. 
 
T: Integrasi apa yang didukung dalam aplikasi Layanan Terkelola Amazon untuk Apache Flink?
Anda dapat mengatur integrasi bawaan yang disediakan oleh Apache Flink dengan kode minimal atau membangun integrasi Anda sendiri untuk terhubung ke hampir semua sumber data. Pustaka sumber terbuka berdasarkan Apache Flink mendukung sumber dan tujuan streaming, atau sink, untuk memproses pengiriman data. Hal ini juga termasuk dukungan pengayaan data melalui konektor I/O asinkron. Beberapa konektor tersebut mencakup hal berikut:
 
  • Sumber data streaming: Amazon Managed Streaming for Apache Kafka (Amazon MSK), Tujuan Amazon Kinesis Data Streams, atau sink: Amazon Kinesis Data Streams
  • Amazon Kinesis Data Firehose, Amazon DynamoDB, Amazon Elasticsearch Service, dan Amazon S3 (melalui integrasi sink file)

T: Dapatkah aplikasi Layanan Terkelola Amazon untuk Apache Flink mereplikasi data di seluruh stream dan topik?

Ya. Anda dapat menggunakan aplikasi Layanan Terkelola Amazon untuk Apache Flink guna mereplikasi data antara Amazon Kinesis Data Streams, Amazon MSK, dan sistem lainnya.  Contoh yang disediakan dalam dokumentasi kami menunjukkan cara membaca dari satu topik Amazon MSK dan menulis ke topik lain.
 
T: Apakah integrasi kustom didukung?
Anda dapat menambahkan sumber atau tujuan ke aplikasi Anda dengan membangun serangkaian primitif yang memungkinkan Anda membaca dan menulis dari file, direktori, soket, atau apa pun yang dapat Anda akses melalui internet. Apache Flink menyediakan primitif ini untuk sumber data dan sink data. Primitif hadir dengan konfigurasi seperti kemampuan untuk membaca dan menulis data terus menerus atau satu kali, secara asinkron atau sinkron, dan banyak lagi. Misalnya, Anda dapat menyiapkan aplikasi untuk membaca terus menerus dari Amazon S3 dengan memperluas integrasi sumber berbasis file yang ada.
 
T: Model pengiriman dan pemrosesan apa yang disediakan aplikasi Layanan Terkelola Amazon untuk Apache Flink?
Aplikasi Apache Flink di Layanan Terkelola Amazon untuk Apache Flink menggunakan model pengiriman tepat satu kali jika aplikasi dibuat menggunakan operator idempoten, termasuk sumber dan sink. Hal ini berarti data yang diproses berdampak pada hasil hilir satu kali dan hanya satu kali.
 
Secara default, aplikasi Layanan Terkelola Amazon untuk Apache Flink menggunakan semantik Apache Flink tepat satu kali. Aplikasi Anda mendukung semantik pemrosesan tepat satu kali jika Anda mendesain aplikasi menggunakan sumber, operator, dan sink yang menggunakan semantik Apache Flink tepat satu kali
 
T: Apakah saya memiliki akses ke penyimpanan lokal dari penyimpanan aplikasi saya?
Ya. Aplikasi Layanan Terkelola Amazon untuk Apache Flink menyediakan 50 GB untuk penyimpanan aplikasi yang sedang berjalan per KPU bagi aplikasi Anda. Layanan Terkelola Amazon untuk Apache Flink menskalakan penyimpanan dengan aplikasi Anda. Penyimpanan aplikasi yang sedang berjalan digunakan untuk menyimpan status aplikasi menggunakan titik pemeriksaan. Penyimpanan ini juga dapat diakses oleh kode aplikasi Anda untuk digunakan sebagai disk sementara untuk data caching atau tujuan lainnya. Layanan Terkelola Amazon untuk Apache Flink dapat menghapus data dari penyimpanan aplikasi yang sedang berjalan yang tidak disimpan melalui titik pemeriksaan (seperti operator, sumber, sink) kapan saja. Semua data yang disimpan dalam penyimpanan aplikasi yang sedang berjalan dienkripsi saat diam.
 
T: Bagaimana Layanan Terkelola Amazon untuk Apache Flink secara otomatis mencadangkan aplikasi saya?
Layanan Terkelola Amazon untuk Apache Flink secara otomatis mencadangkan status aplikasi yang sedang berjalan menggunakan titik pemeriksaan dan snapshot. Titik pemeriksaan menyimpan status aplikasi saat ini dan mengaktifkan aplikasi Layanan Terkelola Amazon untuk Apache Flink untuk memulihkan posisi aplikasi guna menyediakan semantik yang sama dengan eksekusi bebas kegagalan. Titik pemeriksaan menggunakan penyimpanan aplikasi yang sedang berjalan. Titik pemeriksaan untuk aplikasi Apache Flink disediakan melalui fungsionalitas titik pemeriksaan Apache Flink. Snapshot menyimpan titik pemulihan titik waktu untuk aplikasi dan menggunakan pencadangan aplikasi yang tahan lama. Snapshot dianalogikan dengan titik penyimpanan Flink.
 
T: Apa itu snapshot aplikasi?
Dengan snapshot, Anda dapat membuat dan memulihkan aplikasi Anda ke titik waktu sebelumnya. Anda dapat mempertahankan status aplikasi sebelumnya dan memutar kembali aplikasi Anda kapan saja karena hal ini. Anda mengontrol berapa banyak snapshot yang Anda miliki pada waktu tertentu, dari nol hingga ribuan snapshot. Snapshot menggunakan pencadangan aplikasi yang tahan lama dan Layanan Terkelola Amazon untuk Apache Flink mengenakan biaya berdasarkan ukurannya. Layanan Terkelola Amazon untuk Apache Flink mengenkripsi data yang disimpan dalam snapshot secara default. Anda dapat menghapus snapshot individual melalui API atau semua snapshot dengan menghapus aplikasi Anda.
 
T: Apa versi Apache Flink yang didukung?
Untuk mempelajari selengkapnya tentang versi Apache Flink yang didukung, kunjungi halaman Catatan Rilis Layanan Terkelola Amazon untuk Apache Flink. Halaman ini juga mencakup versi Apache Beam, Java, Scala, Python, dan AWS SDK yang didukung Layanan Terkelola Amazon untuk Apache Flink. 
 
T: Dapatkah aplikasi Layanan Terkelola Amazon untuk Apache Flink menjalankan Apache Beam?
Ya, Layanan Terkelola Amazon untuk Apache Flink mendukung aplikasi streaming yang dibuat menggunakan Apache Beam. Anda dapat membangun aplikasi streaming Apache Beam di Java dan menjalankannya di berbagai mesin dan layanan termasuk menggunakan Apache Flink di Layanan Terkelola Amazon untuk Apache Flink. Anda dapat menemukan informasi tentang versi Apache Flink dan Apache Beam yang didukung di Panduan Developer Layanan Terkelola Amazon untuk Apache Flink. 

T: Bagaimana cara mengembangkan aplikasi Studio?
Anda dapat memulai dari Layanan Terkelola Amazon untuk Apache Flink Studio, Amazon Kinesis Data Streams, atau konsol Amazon MSK dalam beberapa langkah untuk meluncurkan notebook nirserver agar segera mengueri aliran data dan melakukan analisis data interaktif.
 
Analitik data interaktif: Anda dapat menulis kode di notebook dalam SQL, Python, atau Scala untuk berinteraksi dengan data streaming Anda, dengan waktu respons kueri dalam hitungan detik. Anda dapat menggunakan visualisasi bawaan untuk menjelajahi data, melihat wawasan waktu nyata pada data streaming Anda dari dalam notebook Anda, dan mengembangkan aplikasi pemrosesan streaming yang ditenagai oleh Apache Flink.

Setelah kode siap dijalankan sebagai aplikasi produksi, Anda dapat bertransisi dengan satu langkah ke aplikasi pemrosesan streaming yang memproses gigabita data per detik, tanpa server.

Aplikasi pemrosesan streaming: Setelah Anda siap untuk mempromosikan kode ke produksi, Anda dapat membangun kode dengan mengeklik “Lakukan deployment sebagai aplikasi pemrosesan streaming” di antarmuka notebook atau mengeluarkan satu perintah di CLI. Studio menangani semua manajemen infrastruktur yang diperlukan agar Anda dapat menjalankan aplikasi pemrosesan streaming dalam skala besar, dengan penskalaan otomatis dan status tahan lama diaktifkan, seperti dalam aplikasi Layanan Terkelola Amazon untuk Apache Flink.

T: Seperti apa kode aplikasi saya?
Anda dapat menulis kode di notebook dalam bahasa SQL, Python, atau Scala pilihan Anda menggunakan API Tabel milik Apache Flink. API Tabel adalah abstraksi tingkat tinggi dan API relasional yang mendukung superset kemampuan SQL. API Tabel menawarkan operasi yang sudah dikenal, seperti pilih, filter, gabungan, kelompokkan berdasarkan, agregat, dan sebagainya, bersama dengan konsep khusus streaming, seperti windowing. Anda menggunakan % untuk menentukan bahasa yang akan digunakan di bagian notebook dan dapat beralih antar bahasa. Interpreter adalah plugin Apache Zeppelin sehingga Anda dapat menentukan bahasa atau mesin pemrosesan data untuk setiap bagian notebook. Anda juga dapat membangun fungsi yang ditentukan pengguna dan mereferensikannya guna meningkatkan fungsionalitas kode.

T: Operasi SQL apa yang didukung?
Anda dapat melakukan operasi SQL seperti berikut:

  • Pindai dan filter (SELECT, WHERE) 
  • Agregasi (GROUP BY, GROUP BY WINDOW, HAVING) 
  • Atur (UNION, UNIONALL, INTERSECT, IN, EXISTS) 
  • Urutkan (ORDER BY, LIMIT) 
  • Bergabung (INNER, OUTER, Timed Window – BETWEEN, AND, Bergabung dengan Tabel Temporal – tabel yang melacak perubahan dari waktu ke waktu)
  • Top-N
  • Deduplikasi
  • Pengenalan pola 

Beberapa kueri ini, seperti GROUP BY, OUTER JOIN, dan Top-N, adalah pembaruan hasil untuk data streaming, yang berarti bahwa hasilnya terus diperbarui saat data streaming diproses. Pernyataan DDL lainnya, seperti CREATE, ALTER, dan DROP, juga didukung. Untuk daftar lengkap kueri dan sampel, lihat dokumentasi Kueri Apache Flink.

T: Bagaimana Python dan Scala didukung?

API Tabel milik Apache Flink mendukung Python dan Scala melalui integrasi bahasa menggunakan string Python dan ekspresi Scala. Operasi yang didukung sangat mirip dengan operasi SQL yang didukung, termasuk pilih, urutkan, kelompokkan, gabungan, filter, dan windowing. Daftar lengkap operasi dan sampel tercantum dalam panduan developer kami.

T: Apa versi Apache Flink dan Apache Zeppelin yang didukung?

Untuk mempelajari selengkapnya tentang versi Apache Flink yang didukung, kunjungi halaman Catatan Rilis Layanan Terkelola Amazon untuk Apache Flink. Halaman ini juga mencakup versi Apache Zeppelin, Apache Beam, Java, Scala, Python, dan AWS SDK yang didukung Layanan Terkelola Amazon untuk Apache Flink.

T: Integrasi apa yang didukung secara default di aplikasi Layanan Terkelola Amazon untuk Apache Flink Studio?

  • Sumber data: Amazon Managed Streaming for Apache Kafka (Amazon MSK), Amazon Kinesis Data Streams, Amazon S3 
  • Tujuan, atau sink: Amazon MSK, Amazon Kinesis Data Streams, dan Amazon S3

T: Apakah integrasi khusus didukung?
Anda dapat mengonfigurasi integrasi tambahan dengan beberapa langkah dan baris kode Apache Flink (Python, Scala, atau Java) untuk menentukan koneksi dengan semua integrasi yang didukung Apache Flink. Hal ini termasuk tujuan, seperti Amazon OpenSearch Service, Amazon ElastiCache for Redis, Amazon Aurora, Amazon Redshift, Amazon DynamoDB, Amazon Keyspaces, dan banyak lagi. Anda dapat melampirkan aplikasi yang dapat dijalankan untuk konektor kustom ini saat Anda membuat atau mengonfigurasi aplikasi Layanan Terkelola Amazon untuk Apache Flink Studio.

Perjanjian Tingkat Layanan

T: Apa yang dijamin SLA Layanan Terkelola Amazon untuk Apache Flink?

Perjanjian tingkat layanan (SLA) kami menjamin Persentase Waktu Aktif Bulanan minimal 99,9% untuk Layanan Terkelola Amazon untuk Apache Flink.

T: Bagaimana saya tahu jika saya memenuhi syarat untuk Kredit Layanan SLA?

Anda berhak mendapatkan Kredit Layanan SLA dari Layanan Terkelola Amazon untuk Apache Flink di bawah SLA Layanan Terkelola Amazon untuk Apache Flink jika lebih dari satu Zona Ketersediaan tempat Anda menjalankan tugas, dalam Wilayah AWS yang sama, memiliki Persentase Waktu Aktif Bulanan kurang dari 99,9% selama siklus penagihan bulanan. Untuk detail lengkap tentang semua syarat dan ketentuan SLA serta detail tentang cara mengajukan klaim, kunjungi halaman detail SLA Layanan Terkelola Amazon untuk Apache Flink.

Mulai menggunakan Amazon Kinesis Data Analytics

Kunjungi halaman harga Kinesis Data Analytics
Hitung biaya Anda

Kunjungi halaman harga Amazon Kinesis Data Analytics.

Read the documentation
Tinjau panduan memulai

Pelajari cara menggunakan Amazon Kinesis Data Analytics dalam panduan langkah demi langkah untuk SQL atau Apache Flink.

Mulai membangun di konsol
Mulai membangun aplikasi streaming

Buat aplikasi streaming pertama Anda dari konsol Amazon Kinesis Data Analytics.