Что такое Apache Flink?

Благодаря широкому набору функций Apache Flink используется для создания множества различных типов потоковых и пакетных приложений.
Вот некоторые из распространенных типов приложений на базе Apache Flink.

• Приложения, управляемые событиями, получающие события из одного или нескольких потоков событий и выполняющие вычисления, обновления состояния либо внешние действия. Обработка с отслеживанием состояния позволяет реализовать логику, выходящую за рамки преобразования одного сообщения, где результаты зависят от истории полученных событий.
• Приложения для анализа данных, извлекающие информацию и аналитику из данных. Традиционно эти операции выполняются путем запроса конечных наборов данных и повторного выполнения запросов или изменения результатов для включения новых данных. С помощью Apache Flink анализ можно выполнять путем постоянного обновления, потоковой передачи запросов или обработки полученных событий в режиме реального времени, постоянно выдавая и обновляя результаты.
• Приложения линии передачи данных, преобразующие и обогащающие данные для перемещения из одного носителя данных в другой. Традиционно процедура извлечения, преобразования и загрузки (ETL) выполняется периодически, в пакетном режиме. Благодаря Apache Flink процесс может быть непрерывным, а перемещать данные на необходимый носитель можно с низкой задержкой.

Обработка как неограниченных (потоковая передача), так и ограниченных (пакетная передача) наборов данных

Apache Flink может обрабатывать как неограниченные, так и ограниченные наборы данных, то есть потоковые и пакетные данные. Неограниченные потоки имеют начало, но теоретически бесконечны и никогда не заканчиваются. Теоретически обработка может длиться вечно.

Ограниченные данные, как и таблицы, конечны и могут быть обработаны от начала до конца за определенное время.
Apache Flink предоставляет алгоритмы и структуры данных для поддержки как ограниченной, так и неограниченной обработки через один и тот же программный интерфейс. Приложения, обрабатывающие неограниченные данные, работают непрерывно. Приложения, обрабатывающие ограниченные данные, завершат свою работу при достижении конца наборов входных данных.

Запуск приложений в любом масштабе

Сервис Apache Flink предназначен для запуска приложений с отслеживанием состояния практически в любом масштабе. Обработка распараллелена на тысячи задач, распределенных по нескольким машинам одновременно.

Состояние также разделено на разделы и распределено по горизонтали, что позволяет хранить несколько терабайт на нескольких машинах. Данные о состоянии постоянно записываются на постоянное хранилище.

Производительность в памяти

Данные, проходящие через приложение, и состояние разделяются между несколькими машинами. Следовательно, вычисления могут быть выполнены путем доступа к локальным данным, часто находящимся в памяти.

Строго однократная согласованность состояния

Приложения, выходящие за рамки преобразований отдельных сообщений, сохраняют состояние. Бизнес-логика должна запоминать события или промежуточные результаты. Apache Flink гарантирует согласованность внутреннего состояния даже в случае сбоя, остановки и перезапуска приложений. Влияние каждого сообщения на внутреннее состояние всегда применяется ровно один раз, независимо от того, может ли приложение получить дубликаты из источника данных при восстановлении или перезапуске.

Широкий выбор коннекторов

Apache Flink имеет ряд проверенных коннекторов для подключения к популярным системам обмена сообщениями и потоковой передачи, хранилищам данных, поисковым движкам и файловой системе. В качестве примеров можно привести Apache Kafka, Потоки данных Amazon Kinesis, Amazon SQS, Active MQ, Rabbit MQ, NiFi, OpenSearch и ElasticSearch, DynamoDB, HBase и любую базу данных, предоставляющую клиентский драйвер JDBC.

Несколько уровней абстракции

Apache Flink предлагает несколько уровней абстракции для программного интерфейса: от потокового SQL более высокого уровня и API таблиц до использования знакомых абстракций, таких как таблицы, объединения и группы. API DataStream предлагает более низкий уровень абстракции, но при этом и больший контроль за счет семантики потоков, окон и сопоставлений. И наконец, ProcessFunction API обеспечивает точный контроль над обработкой каждого сообщения и непосредственное управление состоянием. Все программные интерфейсы без проблем работают как с неограниченными (потоковая передача), так и с ограниченными (таблицы) наборами данных. В одном и том же приложении можно использовать разные уровни абстракции в качестве подходящего инструмента для решения каждой проблемы.

Поддержка нескольких языков программирования

Apache Flink можно программировать на нескольких языках: от высокоуровневого потокового SQL до Python, Scala, Java, а также других языков JVM, таких как Kotlin.

NortonLifeLock

NortonLifeLock — глобальная компания, занимающаяся кибербезопасностью и конфиденциальностью в Интернете, которая предлагает миллионам клиентов услуги по обеспечению безопасности устройств, идентификации и конфиденциальности в Интернете для дома и семьи.

NortonLifeLock предлагает пользователям VPN в качестве бесплатного сервиса. Таким образом, им необходимо вводить ограничения на использование в режиме реального времени, чтобы пользователи тарифа «freemium» не могли использовать эту услугу сверх своих лимитов. Задача NortonLifeLock – сделать это надежным и доступным способом.

Компания NortonLifeLock упростила реализацию агрегации на уровне пользователей и устройств, внедрив Apache Flink.

Samsung SmartThings

SmartThings, независимая дочерняя компания Samsung, является одной из ведущих экосистем Интернета вещей в мире, предлагая самые простые решения для создания умного дома.

Компания Samsung SmartThings сталкивалась с такими проблемами, как резервирование ресурсов для отдельных приложений. Это привело к задержкам и снижению производительности при обработке данных. В конечном итоге это повлекло высокие затраты на поддержание рабочих нагрузок в операционной деятельности. Им пришлось создавать новую архитектуру для платформы данных,

и они перешли с Apache Spark на Apache Flink.

BT Group

BT Group — ведущий британский поставщик телекоммуникационных и сетевых услуг и ведущий поставщик глобальных коммуникационных услуг и решений, обслуживающий клиентов в 180 странах. В число основных видов деятельности компании в Великобритании входят предоставление услуг фиксированной голосовой связи, мобильной связи, широкополосного доступа и телевидения (включая спортивные программы), а также ряда продуктов и услуг по конвергентным фиксированным и мобильным сетям для потребителей, бизнеса и государственного сектора.

Компания BT нуждалась в приложении для мониторинга услуг, чтобы поддерживать внедрение технологии Digital Voice – нового потребительского продукта, позволяющего осуществлять голосовые звонки высокой четкости через широкополосную сеть Великобритании.

Компания BT создала аналитический сервис, управляемый событиями, с использованием Apache Flink для сбора, обработки и визуализации сервисных данных.

Autodesk

Autodesk, ведущий поставщик программного обеспечения для 3D-проектирования, хочет сделать больше, чем просто создавать и поставлять программное обеспечение. Компания также хочет, чтобы миллионы пользователей по всему миру имели лучший опыт работы с этим программным обеспечением.

Autodesk создает программное обеспечение для тех, кто выпускает вещи. Они обслуживают более 200 миллионов клиентов. Им нужно было устранить разрозненность, чтобы быстрее находить и решать проблемы клиентов. Они нуждались в едином способе сбора и измерения метрик небольшой рабочей группой без увеличения расходов и блокировки данных.

НХЛ

Национальная хоккейная лига — вторая старейшая из четырех основных профессиональных командных спортивных лиг Северной Америки. Сегодня НХЛ состоит из 32 клубов, каждый из которых отражает международный облик Лиги. В командных составах представлены игроки из более чем 20 стран.

Перед НХЛ стоял ряд технических задач, таких как определение необходимых характеристик и методов моделирования для прогнозирования события с большой долей неопределенности, а также определение того, как использовать потоковые данные датчиков PPT для определения места проведения очной ставки, участвующих в ней игроков и вероятности победы каждого игрока в очной ставке, причем все это в течение сотен миллисекунд.

Используя Apache Flink, НХЛ смогла не только предсказать победителя, но и заложить основу для решения ряда аналогичных задач в режиме реального времени и с минимальными затратами.

Poshmark

Poshmark – ведущий рынок социальной коммерции, на котором продают новую и подержанную одежду для женщин, мужчин и детей, а также вещи для домашних животных, дома и многое другое. Их клиенты, которых более 80 миллионов в США, Канаде, Австралии и Индии, формируют будущее шоппинга, чтобы оно было простым, социальным и экологичным.

Рынок Poshmark сосредоточился на достижении роста выручки за счет персонализации и улучшения пользовательского интерфейса. Первоначальный подход к использованию пакетной обработки для персонализации и безопасности не оправдал ожиданий по улучшению качества обслуживания клиентов.

Poshmark разработал персонализацию в реальном времени с использованием дополнения данных в реальном времени с помощью Apache Flink.