Вы можете разработать приложения потоковой передачи с помощью Apache Flink и Apache Beam
Шаг 1. Загрузка библиотек с открытым исходным кодом в выбранную среду IDE
Сначала можно загрузить библиотеки с открытым исходным кодом, включая SDK AWS, Apache Flink и соединители для сервисов AWS.
Шаг 2. Разработка образца приложения с использованием Apache Flink или Apache Beam
В коде приложения на Apache Flink используются потоки данных и операторы для работы с ними. Потоки данных приложения – это структуры данных, обрабатываемые его кодом. Данные непрерывно поступают из источников в потоки данных приложения. Для определения процедуры обработки потоков данных приложения используется один или несколько операторов потока.
Шаг 3. Загрузка созданного кода в Kinesis Data Analytics
Создав приложение, необходимо отправить его код в Amazon Kinesis Data Analytics, после чего сервис обеспечит все необходимое для непрерывной работы приложений в режиме реального времени, включая автоматическое масштабирование с учетом объема и скорости поступления входных данных.
Начать работу с Amazon Kinesis Data Analytics Studio очень просто
Шаг 1. Создайте приложение Amazon Kinesis Data Analytics Studio
Вы можете начать в Amazon Kinesis Data Analytics, Amazon MSK или консоли Amazon Kinesis Data Streams. Либо использовать пользовательские коннекторы для подключения к любому другому источнику данных.
Шаг 2. Напишите код на SQL, Python и Scala в бессерверном блокноте и быстро разработайте приложения Apache Flink
Вы можете запускать отдельные параграфы кода в примечании, просматривать результаты в контексте и использовать встроенную визуализацию Apache Zeppelin для ускорения разработки. Вы также можете использовать в своем коде пользовательские функции.
Шаг 3. Создайте и разверните в качестве потокового приложения Kinesis Data Analytics
Всего в несколько кликов вы можете развернуть свой код как непрерывно работающее потоковое приложение. Развернутое приложение будет представлять собой приложение Kinesis Data Analytics для Apache Flink, обеспеченное надежностью и автомасштабированием. Вы также сможете перед запуском кода менять источники, назначения, ведение журнала и мониторинг уровней.
Начать работу с Amazon Kinesis Data Analytics SQL
Сначала создайте новое приложение Amazon Kinesis Data Analytics. Выберите имеющийся демонстрационный поток в качестве входящего, определите шаблон и отредактируйте SQL‑запрос. После этого можно будет просмотреть результаты непосредственно в консоли или загрузить полученные данные в Amazon Elasticsearch Service для визуализации с помощью Kibana. Развертывание готового приложения потоковой обработки можно выполнить всего за несколько минут.
Шаг 1. Настройка входящего потока
Перейдите в консоль Amazon Kinesis Data Analytics и выберите поток Kinesis Data Streams или поток доставки Kinesis Data Firehose в качестве входящего потока данных. Amazon Kinesis Data Analytics импортирует данные, автоматически распознает стандартные форматы данных и предлагает схему для них. Эту схему можно изменить, а если входные данные являются неструктурированными, можно определить новую схему, используя интуитивно понятный редактор схем.
Шаг 2. Создание запросов SQL
С помощью редактора SQL и встроенных шаблонов Amazon Kinesis Data Analytics создайте SQL‑запросы для обработки потоковых данных и протестируйте их на реальных потоковых данных.
Шаг 3. Настройка исходящего потока
Наконец, укажите, куда следует загружать результаты обработки. В сервисе Amazon Kinesis Data Analytics есть встроенная интеграция с сервисами Amazon Kinesis Data Streams и Amazon Kinesis Data Firehose, что позволяет просто загружать результаты обработки в сервисы Amazon S3, Amazon Redshift, Amazon Elasticsearch Service или настраивать собственные целевые объекты.
Онлайн-обучение
Самостоятельное обучение по созданию приложений Apache Flink на базе Amazon Kinesis Data Analytics
На этом семинаре вы научитесь строить сквозную потоковую архитектуру потоковой передачи для получения, анализа и визуализации потоковых данных в режиме, близком к реальному времени. Вы решили улучшить операционную деятельность службы такси в Нью-Йорке. Вы будете анализировать телеметрические данные таксопарка в Нью-Йорке в режиме, близком к реальному времени, чтобы оптимизировать операционную деятельность парка.
Решение AWS для потоковой передачи данных для Amazon Kinesis
Используйте готовое решение для быстрого старта. Решение AWS для потоковой передачи данных для Amazon Kinesis поможет вам разобраться со стандартным примерами использования, связанными с потоковой передачей данных в режиме реального времени, такими как создание журналов крупномасштабных приложений, анализ истории посещений, постоянная доставка в озеро данных и другие.
Знакомство с использованием Apache Flink в Amazon Kinesis Data Analytics
В 15-минутном обучающем видео рассказывается о том, как использовать приложения Apache Flink в Amazon Kinesis Data Analytics, чтобы получать актуальные сведения о своих данных.
Начать работу с Amazon Kinesis Data Analytics
Из этого пошагового руководства вы узнаете, как использовать Amazon Kinesis Data Analytics для работы с SQL илиApache Flink.
Создайте свое приложение потоковой передачи в консоли Amazon Kinesis Data Analytics.