Начать работу с Amazon Kinesis Data Analytics лучше всего на реальном примере, создав образец приложения. Просто откройте консоль Amazon Kinesis Data Analytics и создайте новое приложение Amazon Kinesis Data Analytics. Выполните указанные ниже действия для выбранного типа приложения (Apache Flink или SQL).
Удобная разработка приложений потоковой передачи с помощью Apache Flink и Apache Beam
Сначала создайте приложение Kinesis Data Analytics, которое непрерывно считывает и обрабатывает потоковые данные. Загрузите библиотеки Apache Flink с открытым исходным кодом, используя удобную для вас среду IDE, а затем напишите код приложения и протестируйте его на реальных потоковых данных. Вы можете настроить целевые расположения, в которые сервис Kinesis Data Analytics должен отправлять результаты.
Инструкции по загрузке библиотек и созданию первого приложения см. в руководстве по Amazon Kinesis Data Analytics для разработчиков, использующих Apache Flink. Также вы найдете здесь необходимые компоненты для запуска приложений, которые используют Apache Beam. Вы можете найти эквивалентный код на других языках, поддерживаемых Apache Flink, в официальной документации по Apache Flink для той версии, которую вы используете в Amazon Kinesis Data Analytics.
Шаг 1. Загрузка библиотек с открытым исходным кодом в выбранную среду IDE
Сначала можно загрузить библиотеки с открытым исходным кодом, в том числе SDK AWS, Apache Flink и соединители для сервисов AWS.
Шаг 2. Разработка образца приложения с использованием Apache Flink или Apache Beam
В коде приложения на Apache Flink используются потоки данных и операторы для работы с ними. Потоки данных приложения – это структуры данных, обрабатываемые его кодом. Данные непрерывно поступают из источников в потоки данных приложения. Для определения процедуры обработки потоков данных приложения используется один или несколько операторов потока.
Шаг 3. Загрузка созданного кода в Kinesis Data Analytics
Создав приложение, необходимо отправить его код в Amazon Kinesis Data Analytics, после чего сервис обеспечит все необходимое для непрерывной работы приложений в режиме реального времени, включая автоматическое масштабирование с учетом объема и скорости поступления входных данных.
Руководство по началу работы для разработчиков, использующих Apache Flink
В разделе Getting Started with Amazon Kinesis Data Analytics for Apache Flink Applications руководства для разработчиков представлены простые пошаговые инструкции, которые помогут вам создать свое первое приложение.
Используйте встроенное решение для быстрого старта
Решение для потоковой передачи данных AWS для Amazon Kinesis поможет вам разобраться с примерами использования, связанными с потоковой передачей данных в режиме реального времени, такими как создание журналов крупномасштабных приложений, анализ сведений о посещении, постоянная доставка в озеро данных.
Знакомство с использованием Apache Flink в Amazon Kinesis Data Analytics
В 15-минутном обучающем видео рассказывается о том, как использовать приложения Apache Flink в Amazon Kinesis Data Analytics, чтобы получать актуальные сведения о своих данных.
Начать работу с SQL очень просто
Сначала создайте новое приложение Amazon Kinesis Data Analytics. Выберите имеющийся демонстрационный поток в качестве входящего, определите шаблон и отредактируйте SQL‑запрос. После этого можно будет просмотреть результаты непосредственно в консоли или загрузить полученные данные в Amazon Elasticsearch Service для визуализации с помощью Kibana. Развертывание готового приложения потоковой обработки можно выполнить всего за несколько минут.
Шаг 1. Настройка входящего потока
Перейдите в консоль Amazon Kinesis Data Analytics и выберите поток Kinesis Data Streams или поток доставки Kinesis Data Firehose в качестве входящего потока данных. Amazon Kinesis Data Analytics импортирует данные, автоматически распознает стандартные форматы данных и предлагает схему для них. Эту схему можно изменить, а если входные данные являются неструктурированными, можно определить новую схему, используя интуитивно понятный редактор схем.
Шаг 2. Создание запросов SQL
С помощью редактора SQL и встроенных шаблонов Amazon Kinesis Data Analytics создайте SQL‑запросы для обработки потоковых данных и протестируйте их на реальных потоковых данных.
Шаг 3. Настройка исходящего потока
Наконец, укажите, куда следует загружать результаты обработки. В сервисе Amazon Kinesis Data Analytics есть встроенная интеграция с сервисами Amazon Kinesis Data Streams и Amazon Kinesis Data Firehose, что позволяет просто загружать результаты обработки в сервисы Amazon S3, Amazon Redshift, Amazon Elasticsearch Service или настраивать собственные целевые объекты.
Примеры для начала работы
Ниже представлены примеры приложений потоковой обработки данных и пошаговые инструкции, позволяющие попробовать эти приложения на практике.
Принцип работы
В этом руководстве для SQL-разработчиков представлен обзор архитектуры сервиса Amazon Kinesis Data Analytics, процесса разработки приложений, а также настройки входных и выходных данных.
Начало работы
В данном руководстве по началу работы приведена пошаговая инструкция по настройке учетной записи AWS, использованию интерфейса командной строки (AWS CLI) и созданию первого приложения Amazon Kinesis Data Analytics.
Образцы приложений
В этом руководстве по созданию образцов приложений представлены фрагменты кода и пошаговые инструкции, которые помогут создать и протестировать приложения Amazon Kinesis Data Analytics.
Видеоинструкции
Начать работу с Kinesis Data Analytics очень просто. Данные видеоинструкции дают углубленное понимание технологии стандартных примеров использования сервиса и функционирования рабочих нагрузок обработки потоковых данных. Они также дают исчерпывающий обзор главных возможностей, позволяя просто выполнить нужную работу. Перейдите по ссылкам и посмотрите видеоролики.
Начать работу с Amazon Kinesis Data Analytics
Из этого пошагового руководства вы узнаете, как использовать Amazon Kinesis Data Analytics для работы с SQL илиApache Flink.
Создайте свое приложение потоковой передачи в консоли Amazon Kinesis Data Analytics.