Создавайте комплексные конвейеры потоковой передачи одним щелчком мыши с помощью чертежей Управляемого сервиса Amazon для Apache Flink. Подробнее.
Управляемый сервис Amazon для Apache Flink позволяет преобразовывать и анализировать потоковые данные в реальном времени с помощью Apache Flink. Управляемый сервис Amazon для Apache Flink упрощает создание рабочих нагрузок Apache Flink и управление ими, а также позволяет с легкостью интегрировать приложения в другие сервисы AWS.
Разработка приложений потоковой передачи с помощью Apache Flink и Apache Beam
Шаг 1. Загрузка библиотек с открытым исходным кодом в выбранную среду IDE
Сначала можно загрузить библиотеки с открытым исходным кодом, включая SDK AWS, Apache Flink и соединители для сервисов AWS.
Шаг 2. Разработка образца приложения с использованием Apache Flink или Apache Beam
В коде приложения на Apache Flink используются потоки данных и операторы для работы с ними. Потоки данных приложения – это структуры данных, обрабатываемые его кодом. Данные непрерывно поступают из источников в потоки данных приложения. Для определения процедуры обработки потоков данных приложения используется один или несколько операторов потока.
Шаг 3. Загрузка кода в Управляемый сервис Amazon для Apache Flink
После сборки загрузите код в Управляемый сервис Amazon для Apache Flink. Сервис обеспечивает все необходимое для непрерывной работы приложений в режиме реального времени, включая автоматическое масштабирование в зависимости от объема и скорости поступления входных данных.
Интуитивно понятное использование Управляемого сервиса Amazon для Студии Apache Flink
Шаг 1. Создание Управляемого сервиса Amazon для приложения Студия Apache Flink
Начать с Управляемого сервиса Amazon для Apache Flink, Amazon MSK или консоли потоков данных Amazon Kinesis. Использовать пользовательские соединители для подключения к любому другому источнику данных.
Шаг 2. Напишите код на SQL, Python и Scala в бессерверном блокноте и разработайте приложения Apache Flink
Запустите отдельные параграфы кода в блокноте, просматривайте результаты в контексте и используйте встроенную визуализацию Apache Zeppelin для ускорения разработки. Вы также можете использовать в своем коде пользовательские функции.
Шаг 3. Разработайте и разверните код как Управляемый сервис Amazon для потокового приложения Apache Flink
Всего за несколько шагов разверните свой код как непрерывно работающее приложение для обработки потока. Развернутое приложение будет представлять собой Управляемый сервис Amazon для приложения Apache Flink, обеспеченное надежностью и автомасштабированием. Вы также сможете перед запуском кода менять источники, назначения, ведение журнала и уровни наблюдения.
Онлайн-обучение
Самостоятельное обучение по созданию приложений Apache Flink на базе Управляемого сервиса Amazon для Apache Flink
На этом семинаре вы научитесь строить сквозную архитектуру потоковой передачи для получения, анализа и визуализации потоковых данных в режиме, близком к реальному времени. Вы приступите к оптимизации операционной деятельности парка службы такси в Нью-Йорке, анализируя телеметрические данные таксопарка в режиме, близком к реальному времени.
Решение AWS для потоковой передачи данных для Управляемого сервиса Amazon для Apache Flink
Используйте готовое решение для быстрого ознакомления с темой. С помощью решения AWS для потоковой передачи данных для Управляемого сервиса Amazon для Apache Flink можно разобраться с примерами использования, связанными с потоковой передачей данных в режиме реального времени, такими как создание журналов крупномасштабных приложений, анализ истории посещений, постоянная доставка в озеро данных и другие.
Обнаружение событий с помощью Управляемого сервиса Amazon для Apache Flink и Studio
На этом семинаре вы создадите приложение для обработки потоковых данных, которое идентифицирует посетителей вашего казино, делающих крупные ставки, и отправляет вам электронное письмо, когда игроки с большими ставками садятся за игровой стол. Вы также определите столы, за которыми необходимо пополнить фишки, и определите потенциальных мошенников в своем казино по их схемам ставок и выигрышей.
Создание таблицы лидеров с помощью Управляемого сервиса Amazon для Apache Flink
В этом наборе из пяти видео вы создадите современную архитектуру потоковой передачи данных для составления рейтинга игроков в реальном времени с помощью Студии Управляемого сервиса Amazon для Apache Flink. Эта архитектура поддерживает прием данных, обогащение данных в реальном времени с помощью сбора данных об изменениях в базе данных (CDC), обработку данных, а также вычисление, хранение и визуализацию результатов.
Начать работу с Аналитикой данных Amazon Kinesis
Из этого пошагового руководства вы узнаете, как использовать Amazon Kinesis Data Analytics для работы с SQL илиApache Flink.
Создайте свое приложение потоковой передачи в консоли Amazon Kinesis Data Analytics.