Шаг 1. Загрузка библиотек с открытым исходным кодом в выбранную среду IDE

Создать Java‑приложение

Сначала можно загрузить библиотеки с открытым исходным кодом, включая SDK AWS, Apache Flink и соединители для сервисов AWS. 

Образец кода Java

В коде приложения на Apache Flink используются потоки данных и операторы для работы с ними. Потоки данных приложения – это структуры данных, обрабатываемые его кодом. Данные непрерывно поступают из источников в потоки данных приложения. Для определения процедуры обработки потоков данных приложения используется один или несколько операторов потока.

Шаг 3. Загрузка созданного кода в Kinesis Data Analytics

Настроить Java‑приложение

Создав приложение, необходимо отправить его код в Amazon Kinesis Data Analytics, после чего сервис обеспечит все необходимое для непрерывной работы приложений в режиме реального времени, включая автоматическое масштабирование с учетом объема и скорости поступления входных данных.

Начать работу с Amazon Kinesis Data Analytics Studio очень просто

Шаг 1. Создайте приложение Amazon Kinesis Data Analytics Studio

Создать Java‑приложение

Вы можете начать в Amazon Kinesis Data Analytics, Amazon MSK или консоли Amazon Kinesis Data Streams. Либо использовать пользовательские коннекторы для подключения к любому другому источнику данных.

Образец кода Java

Вы можете запускать отдельные параграфы кода в примечании, просматривать результаты в контексте и использовать встроенную визуализацию Apache Zeppelin для ускорения разработки. Вы также можете использовать в своем коде пользовательские функции.

Шаг 3. Создайте и разверните в качестве потокового приложения Kinesis Data Analytics

Настроить Java‑приложение

Всего в несколько кликов вы можете развернуть свой код как непрерывно работающее потоковое приложение. Развернутое приложение будет представлять собой приложение Kinesis Data Analytics для Apache Flink, обеспеченное надежностью и автомасштабированием. Вы также сможете перед запуском кода менять источники, назначения, ведение журнала и мониторинг уровней.

Начать работу с Amazon Kinesis Data Analytics SQL

Сначала создайте новое приложение Amazon Kinesis Data Analytics. Выберите имеющийся демонстрационный поток в качестве входящего, определите шаблон и отредактируйте SQL‑запрос. После этого можно будет просмотреть результаты непосредственно в консоли или загрузить полученные данные в Amazon Elasticsearch Service для визуализации с помощью Kibana. Развертывание готового приложения потоковой обработки можно выполнить всего за несколько минут.

Шаг 1. Настройка входящего потока

Настройка входящего потока

Перейдите в консоль Amazon Kinesis Data Analytics и выберите поток Kinesis Data Streams или поток доставки Kinesis Data Firehose в качестве входящего потока данных. Amazon Kinesis Data Analytics импортирует данные, автоматически распознает стандартные форматы данных и предлагает схему для них. Эту схему можно изменить, а если входные данные являются неструктурированными, можно определить новую схему, используя интуитивно понятный редактор схем.

Ознакомиться с документацией 

Шаг 2. Создание запросов SQL

Создание запросов SQL

С помощью редактора SQL и встроенных шаблонов Amazon Kinesis Data Analytics создайте SQL‑запросы для обработки потоковых данных и протестируйте их на реальных потоковых данных.

Ознакомиться с документацией 

Шаг 3. Настройка исходящего потока

Настройка исходящего потока

Наконец, укажите, куда следует загружать результаты обработки. В сервисе Amazon Kinesis Data Analytics есть встроенная интеграция с сервисами Amazon Kinesis Data Streams и Amazon Kinesis Data Firehose, что позволяет просто загружать результаты обработки в сервисы Amazon S3, Amazon Redshift, Amazon Elasticsearch Service или настраивать собственные целевые объекты.

Читать документацию 

Онлайн-обучение

Обучающий семинар

На этом семинаре вы научитесь строить сквозную потоковую архитектуру потоковой передачи для получения, анализа и визуализации потоковых данных в режиме, близком к реальному времени. Вы решили улучшить операционную деятельность службы такси в Нью-Йорке. Вы будете анализировать телеметрические данные таксопарка в Нью-Йорке в режиме, близком к реальному времени, чтобы оптимизировать операционную деятельность парка.

Подробнее »
Готовые решения

Решение AWS для потоковой передачи данных для Amazon Kinesis

Используйте готовое решение для быстрого старта. Решение AWS для потоковой передачи данных для Amazon Kinesis поможет вам разобраться со стандартным примерами использования, связанными с потоковой передачей данных в режиме реального времени, такими как создание журналов крупномасштабных приложений, анализ истории посещений, постоянная доставка в озеро данных и другие.

Подробнее »
Обучающее видео

В 15-минутном обучающем видео рассказывается о том, как использовать приложения Apache Flink в Amazon Kinesis Data Analytics, чтобы получать актуальные сведения о своих данных.

Подробнее »

Начать работу с Amazon Kinesis Data Analytics

Зарегистрировать аккаунт AWS
Зарегистрировать аккаунт AWS

Получите мгновенный доступ к уровню бесплатного пользования AWS.

Ознакомиться с руководством по началу работы
Ознакомиться с руководством по началу работы

Из этого пошагового руководства вы узнаете, как использовать Amazon Kinesis Data Analytics для работы с SQL илиApache Flink.

Начать разработку в консоли
Начать разработку приложений потоковой передачи в консоли

Создайте свое приложение потоковой передачи в консоли Amazon Kinesis Data Analytics.