- Аналитика›
- Управляемый сервис Amazon для Apache Flink›
- Начало работы
Начало работы с Управляемым сервисом Amazon для Apache Flink
В чем преимущества Управляемого сервиса для Apache Flink?
Разработка приложений потоковой передачи с помощью Apache Flink и Apache Beam
1. Шаг 1. Загрузка библиотек с открытым исходным кодом в выбранную среду IDE
Сначала можно загрузить библиотеки с открытым исходным кодом, включая SDK AWS, Apache Flink и соединители для сервисов AWS.
2. Шаг 2. Разработка образца приложения с использованием Apache Flink или Apache Beam
В коде приложения на Apache Flink используются потоки данных и операторы для работы с ними. Потоки данных приложения – это структуры данных, обрабатываемые его кодом. Данные непрерывно поступают из источников в потоки данных приложения. Для определения процедуры обработки потоков данных приложения используется один или несколько операторов потока.
3. Шаг 3. Загрузка кода в Управляемый сервис Amazon для Apache Flink
После сборки загрузите код в Управляемый сервис Amazon для Apache Flink. Сервис обеспечивает все необходимое для непрерывной работы приложений в режиме реального времени, включая автоматическое масштабирование в зависимости от объема и скорости поступления входных данных.
Интуитивно понятное использование Управляемого сервиса Amazon для Студии Apache Flink
1. Шаг 1. Создание Управляемого сервиса Amazon для приложения Студия Apache Flink
Начать с Управляемого сервиса Amazon для Apache Flink, Amazon MSK или консоли потоков данных Amazon Kinesis. Использовать пользовательские соединители для подключения к любому другому источнику данных.
2. Шаг 2. Напишите код на SQL, Python и Scala в бессерверном блокноте и разработайте приложения Apache Flink
Запустите отдельные параграфы кода в блокноте, просматривайте результаты в контексте и используйте встроенную визуализацию Apache Zeppelin для ускорения разработки. Вы также можете использовать в своем коде пользовательские функции.
3. Шаг 3. Разработайте и разверните код как Управляемый сервис Amazon для потокового приложения Apache Flink
Всего за несколько шагов разверните свой код как непрерывно работающее приложение для обработки потока. Развернутое приложение будет представлять собой Управляемый сервис Amazon для приложения Apache Flink, обеспеченное надежностью и автомасштабированием. Вы также сможете перед запуском кода менять источники, назначения, ведение журнала и уровни наблюдения.
Онлайн-обучение
На этом семинаре вы научитесь строить сквозную архитектуру потоковой передачи для получения, анализа и визуализации потоковых данных в режиме, близком к реальному времени. Вы приступите к оптимизации операционной деятельности парка службы такси в Нью-Йорке, анализируя телеметрические данные таксопарка в режиме, близком к реальному времени.
Используйте готовое решение для быстрого ознакомления с темой. С помощью решения AWS для потоковой передачи данных для Управляемого сервиса Amazon для Apache Flink можно разобраться с примерами использования, связанными с потоковой передачей данных в режиме реального времени, такими как создание журналов крупномасштабных приложений, анализ истории посещений, постоянная доставка в озеро данных и другие.
На этом семинаре вы создадите приложение для обработки потоковых данных, которое идентифицирует посетителей вашего казино, делающих крупные ставки, и отправляет вам электронное письмо, когда игроки с большими ставками садятся за игровой стол. Вы также определите столы, за которыми необходимо пополнить фишки, и определите потенциальных мошенников в своем казино по их схемам ставок и выигрышей.
В этом наборе из пяти видео вы создадите современную архитектуру потоковой передачи данных для составления рейтинга игроков в реальном времени с помощью Студии Управляемого сервиса Amazon для Apache Flink. Эта архитектура поддерживает прием данных, обогащение данных в реальном времени с помощью сбора данных об изменениях в базе данных (CDC), обработку данных, а также вычисление, хранение и визуализацию результатов.