Amazon Kinesis Data Analytics
Сервис Amazon Kinesis Data Analytics – самое удобное средство для преобразования и анализа потоковых данных в режиме реального времени с помощью Apache Flink. Apache Flink – это платформа и ядро с открытым исходным кодом для обработки потоков данных. Сервис Amazon Kinesis Data Analytics упрощает создание приложений Apache Flink, управление ими и интеграцию таких приложений с другими сервисами AWS.
Amazon Kinesis Data Analytics обеспечивает все необходимое для непрерывной работы приложений потоковой передачи и выполняет автоматическое масштабирование в зависимости от объема и скорости поступления входных данных. Amazon Kinesis Data Analytics избавляет от необходимости управлять серверами, минимальных выплат и расходов на настройку. Вы платите только за ресурсы, используемые приложениями потоковой передачи.
Преимущества
Мощные возможности обработки в режиме реального времени
В Amazon Kinesis Data Analytics встроены функции фильтрации, агрегации и преобразования потоковых данных для комплексного анализа. Сервис обрабатывает потоковые данные с задержкой менее секунды, благодаря чему вы можете анализировать поступающие данные и события, а также реагировать на них в режиме реального времени.
Без управления серверами
Amazon Kinesis Data Analytics – бессерверный сервис, поэтому управлять серверами не требуется. Он запускает приложения потоковой передачи, избавляя вас от необходимости инициализировать инфраструктуру и управлять ею. Сервис Amazon Kinesis Data Analytics автоматически выполняет масштабирование инфраструктуры в соответствии с потребностями в обработке входных данных.
Оплата по факту использования
При работе с Amazon Kinesis Data Analytics плата начисляется только за те ресурсы обработки данных, которые используются приложениями потоковой передачи. Минимальные платежи и авансовые обязательства отсутствуют.
Простота использования
Сервис Amazon Kinesis Data Analytics позволяет быстро и без труда создавать запросы и сложные приложения потоковой передачи за три простых этапа: настройка источников потоковых данных, создание запросов или приложений потоковой передачи и настройка целевого расположения для обрабатываемых данных.
Создание сложных приложений потоковой передачи с помощью Apache Flink
В состав Amazon Kinesis Data Analytics входят среды выполнения и библиотеки с открытым кодом на основе Apache Flink, при помощи которых можно создавать приложения за считаные часы, а не месяцы, используя любую среду IDE. Расширяемые библиотеки включают специализированные API для различных примеров использования, включая потоковую обработку с фиксацией состояния, ETL для потоковых данных и аналитику в режиме реального времени. Эти библиотеки можно использовать для интеграции с такими сервисами AWS, как Amazon Managed Streaming for Apache Kafka (Amazon MSK), Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, Amazon OpenSearch Service (преемник Amazon Elasticsearch Service), Amazon S3, Amazon DynamoDB и другие.
Используйте свой любимый язык
Amazon Kinesis Data Analytics поддерживает разработку приложений на SQL, Java, Scala и Python. Используя эти языки, можно с легкостью создавать приложения, которые выполняют слияние, агрегацию в пределах определенных временных интервалов, фильтрацию и т. д. Можно расширять библиотеки с открытым исходным кодом и подключать собственные библиотеки на любом языке по вашему выбору. С помощью студии Amazon Kinesis Data Analytics вы можете интерактивно создавать приложения на SQL, Scala и Python через веб-блокноты Apache Zeppelin.
Начать работу с Amazon Kinesis Data Analytics – это быстро
Amazon Kinesis Data Analytics Studio позволяет интерактивно отправлять запросы к потоку данных и быстро разрабатывать приложения для обработки потоков с помощью интерактивной среды разработки на базе блокнотов Apache Zeppelin. Обработка потоковых данных в Amazon Kinesis Data Analytics Studio осуществляется на базе Apache Flink.
Разработка приложений потоковой передачи с помощью Apache Beam
Amazon Kinesis Data Analytics поддерживает выполнение приложений потоковой передачи, разработанных с использованием Java SDK Apache Beam в бессерверной среде Apache Flink. Apache Beam – это унифицированная модель с открытым исходным кодом для определения приложений потоковой передачи и пакетной обработки данных, которые могут выполняться на многих движках. Вы можете легко создавать на Java приложения Apache Beam для потоковой передачи и запускать их на Amazon Kinesis Data Analytics других движках.
Принцип работы
Примеры использования
ETL для потоковых данных
Вы можете разрабатывать приложения для извлечения, преобразования и загрузки (ETL) потоковых данных, используя встроенные в Amazon Kinesis Data Analytics операторы для преобразования, агрегации и фильтрации. Вы можете без труда и за считаные секунды передавать данные в Amazon Kinesis Data Streams, Amazon Managed Streaming for Apache Kafka (Amazon MSK), Amazon OpenSearch Service, Amazon S3, собственные средства интеграции и другие сервисы, используя встроенные соединители.
Чтобы попробовать систему ETL для потоковых данных с Apache Flink и Amazon Kinesis Data Analytics, используйте образец кода на GitHub.
Аналитика в режиме реального времени
Отправляйте интерактивные запросы и анализируйте потоки данных в режиме реального времени, а благодаря этому всегда имейте под рукой аналитические выводы и результаты для примеров использования, требующих быстрой обработки. Например, для аналитики по потоку кликов.
Ознакомьтесь с краткими описаниями решений для аналитики в режиме реального времени, предназначенных для мониторинга журналов и веб-аналитики.
Обработка событий с фиксацией состояния
Вы можете разрабатывать приложения, которые обрабатывают события из одного или нескольких потоков данных, а также активируют условную обработку и внешние действия. Вы можете выявлять закономерности (например, аномалии) в потоках данных, используя стандартный синтаксис SQL и библиотеки Apache Flink для сложной обработки событий.
Узнайте, как оптимизировать поток данных с помощью Amazon Kinesis Data Analytics.
Клиенты
Начать работу с Amazon Kinesis Data Analytics
Из этого пошагового руководства вы узнаете, как использовать Amazon Kinesis Data Analytics для работы с SQL илиApache Flink.
Создайте свое приложение потоковой передачи в консоли Amazon Kinesis Data Analytics.