Начать работу с Amazon Kinesis Data Analytics лучше всего на реальном примере, создав образец приложения. Просто откройте консоль Amazon Kinesis Data Analytics и создайте новое приложение Amazon Kinesis Data Analytics. Выполните следующие шаги в зависимости от того, что из перечисленного далее вы выберете: (i) приложение Apache Flink с IDE (Java, Scala или Python), приложение Apache Beam (Java), (ii) приложение блокнотов Studio (Apache Flink SQL, Python или Scala через опыт интерактивной разработки), (iii) приложение Kinesis Data Analytics на основе SQL через консольный редактор.
Вы можете разработать приложения потоковой передачи с помощью Apache Flink и Apache Beam
Сначала создайте приложение Kinesis Data Analytics, которое непрерывно считывает и обрабатывает потоковые данные. Загрузите библиотеки Apache Flink с открытым исходным кодом, используя удобную для вас среду IDE, а затем напишите код приложения и протестируйте его на реальных потоковых данных. Вы можете настроить целевые расположения, в которые сервис Kinesis Data Analytics должен отправлять результаты.
Инструкции по загрузке библиотек и созданию первого приложения см. в руководстве по Amazon Kinesis Data Analytics для разработчиков, использующих Apache Flink. Также вы найдете здесь необходимые компоненты для запуска приложений, которые используют Apache Beam. Вы можете найти эквивалентный код на других языках, поддерживаемых Apache Flink, в официальной документации по Apache Flink для той версии, которую вы используете в Amazon Kinesis Data Analytics.
Шаг 1. Загрузка библиотек с открытым исходным кодом в выбранную среду IDE
Сначала можно загрузить библиотеки с открытым исходным кодом, в том числе SDK AWS, Apache Flink и соединители для сервисов AWS.
Шаг 2. Разработка образца приложения с использованием Apache Flink или Apache Beam
В коде приложения на Apache Flink используются потоки данных и операторы для работы с ними. Потоки данных приложения – это структуры данных, обрабатываемые его кодом. Данные непрерывно поступают из источников в потоки данных приложения. Для определения процедуры обработки потоков данных приложения используется один или несколько операторов потока.
Шаг 3. Загрузка созданного кода в Kinesis Data Analytics
Создав приложение, необходимо отправить его код в Amazon Kinesis Data Analytics, после чего сервис обеспечит все необходимое для непрерывной работы приложений в режиме реального времени, включая автоматическое масштабирование с учетом объема и скорости поступления входных данных.
Руководство по началу работы для разработчиков, использующих Apache Flink
В разделе Getting Started with Amazon Kinesis Data Analytics for Apache Flink Applications руководства для разработчиков представлены простые пошаговые инструкции, которые помогут вам создать свое первое приложение.
Используйте встроенное решение для быстрого старта
Решение для потоковой передачи данных AWS для Amazon Kinesis поможет вам разобраться с примерами использования, связанными с потоковой передачей данных в режиме реального времени, такими как создание журналов крупномасштабных приложений, анализ сведений о посещении, постоянная доставка в озеро данных.
Знакомство с использованием Apache Flink в Amazon Kinesis Data Analytics
В 15-минутном обучающем видео рассказывается о том, как использовать приложения Apache Flink в Amazon Kinesis Data Analytics, чтобы получать актуальные сведения о своих данных.
Начать работу с Amazon Kinesis Data Analytics Studio очень просто
Сначала создайте приложение Amazon Kinesis Data Analytics Studio. Запустите приложение, откройте блокнот Apache Zeppelin и впишите код приложения на SQL, Python и Scala с помощью движка потоковой обработки на базе Apache Flink. Протестируйте приложение, работающее с потоками данных в режиме реального времени, и с помощью SQL-запросов и встроенной визуализации изучите, как выглядят ваши потоковые данные. Вы можете настроить целевые расположения, в которые сервис Kinesis Data Analytics должен отправлять результаты. При необходимости вы можете добавить свой код в примечания давно работающего потокового приложения Apache Flink, обеспеченного надежностью и автомасштабированием.
Инструкции о том, как начать работу с Amazon Kinesis Data Analytics Studio, указаны в руководстве разработчика. Кроме того, в руководстве также есть примеры тестирования различных SQL-запросов и образцы программ на Python и Scala для потоковых данных.
Шаг 1. Создайте приложение Amazon Kinesis Data Analytics Studio
Вы можете начать в Amazon Kinesis Data Analytics, Amazon MSK или консоли Amazon Kinesis Data Streams. Либо использовать пользовательские коннекторы для подключения к любому другому источнику данных.
Шаг 2. Напишите код на SQL, Python и Scala в бессерверном блокноте и быстро разработайте приложения Apache Flink
Вы можете запускать отдельные параграфы кода в примечании, просматривать результаты в контексте и использовать встроенную визуализацию Apache Zeppelin для ускорения разработки. Вы также можете использовать в своем коде пользовательские функции.
Шаг 3. Создайте и разверните в качестве потокового приложения Kinesis Data Analytics
Всего в несколько кликов вы можете развернуть свой код как непрерывно работающее потоковое приложение. Развернутое приложение будет представлять собой приложение Kinesis Data Analytics для Apache Flink, обеспеченное надежностью и автомасштабированием. Вы также сможете перед запуском кода менять источники, назначения, ведение журнала и мониторинг уровней.
Начать работу с Amazon Kinesis Data Analytics SQL
Сначала создайте новое приложение Amazon Kinesis Data Analytics. Выберите имеющийся демонстрационный поток в качестве входящего, определите шаблон и отредактируйте SQL‑запрос. После этого можно будет просмотреть результаты непосредственно в консоли или загрузить полученные данные в Amazon Elasticsearch Service для визуализации с помощью Kibana. Развертывание готового приложения потоковой обработки можно выполнить всего за несколько минут.
Шаг 1. Настройка входящего потока
Перейдите в консоль Amazon Kinesis Data Analytics и выберите поток Kinesis Data Streams или поток доставки Kinesis Data Firehose в качестве входящего потока данных. Amazon Kinesis Data Analytics импортирует данные, автоматически распознает стандартные форматы данных и предлагает схему для них. Эту схему можно изменить, а если входные данные являются неструктурированными, можно определить новую схему, используя интуитивно понятный редактор схем.
Шаг 2. Создание запросов SQL
С помощью редактора SQL и встроенных шаблонов Amazon Kinesis Data Analytics создайте SQL‑запросы для обработки потоковых данных и протестируйте их на реальных потоковых данных.
Шаг 3. Настройка исходящего потока
Наконец, укажите, куда следует загружать результаты обработки. В сервисе Amazon Kinesis Data Analytics есть встроенная интеграция с сервисами Amazon Kinesis Data Streams и Amazon Kinesis Data Firehose, что позволяет просто загружать результаты обработки в сервисы Amazon S3, Amazon Redshift, Amazon Elasticsearch Service или настраивать собственные целевые объекты.
Примеры для начала работы
Ниже представлены примеры приложений потоковой обработки данных и пошаговые инструкции, позволяющие попробовать эти приложения на практике.
Принцип работы
В этом руководстве для SQL-разработчиков представлен обзор архитектуры сервиса Amazon Kinesis Data Analytics, процесса разработки приложений, а также настройки входных и выходных данных.
Начало работы
В данном руководстве по началу работы приведена пошаговая инструкция по настройке учетной записи AWS, использованию интерфейса командной строки (AWS CLI) и созданию первого приложения Amazon Kinesis Data Analytics.
Образцы приложений
В этом руководстве по созданию образцов приложений представлены фрагменты кода и пошаговые инструкции, которые помогут создать и протестировать приложения Amazon Kinesis Data Analytics.
Видеоинструкции
Начать работу с Kinesis Data Analytics очень просто. Данные видеоинструкции дают углубленное понимание технологии стандартных примеров использования сервиса и функционирования рабочих нагрузок обработки потоковых данных. Они также дают исчерпывающий обзор главных возможностей, позволяя просто выполнить нужную работу. Перейдите по ссылкам и посмотрите видеоролики.
Начать работу с Amazon Kinesis Data Analytics
Из этого пошагового руководства вы узнаете, как использовать Amazon Kinesis Data Analytics для работы с SQL илиApache Flink.
Создайте свое приложение потоковой передачи в консоли Amazon Kinesis Data Analytics.