Amazon MSK – Managed Streaming For Apache Kafka

Amazon MSK – это полностью управляемый сервис, который упрощает создание и запуск приложений, использующих Apache Kafka для обработки потоковых данных. Apache Kafka – это платформа с открытым исходным кодом для создания потоковых конвейеров данных и приложений в реальном времени. С помощью Amazon MSK вы можете использовать собственные API-интерфейсы Apache Kafka для заполнения озер данных, потоковой передачи измененных данных в базы данных и обратно, а также для мощных приложений машинного обучения и аналитики.

Кластеры Apache Kafka сложны в настройке, масштабировании и управлении. Выполняя запуск Apache Kafka самостоятельно, вы должны подготовить серверы, вручную настроить Apache Kafka, заменить серверы в случае их сбоя, осуществлять управление файлами с исправлениями и обновлениями для серверов, спроектировать кластер для высокой отказоустойчивости, обеспечить надежное хранение и защиту данных, настроить мониторинг и аварийные сигналы и тщательно спланировать события масштабирования для поддержки изменений нагрузки. Amazon MSK упрощает создание и запуск прикладного программного обеспечения на Apache Kafka, при этом пользователь может не иметь опыта управления инфраструктурой Apache Kafka. Вы сможете тратить меньше времени на управление инфраструктурой и уделить больше внимания созданию приложений.

С помощью нескольких щелчков мышью в консоли Amazon MSK вы сможете создавать кластеры Apache Kafka высокой надежности с настройками и конфигурацией в соответствии с рекомендациями по развертыванию Apache Kafka. Amazon MSK автоматически инициализирует и запускает кластеры Apache Kafka. Amazon MSK постоянно отслеживает работоспособность кластера и автоматически заменяет поврежденные узлы без прерывания работы приложения. Кроме того, Amazon MSK защищает кластер Apache Kafka, шифруя данные в состоянии покоя.

Преимущества

Полная совместимость

Amazon MSK запускает и управляет Apache Kafka вместо вас. Это упрощает миграцию и запуск существующих приложений Apache Kafka в AWS без изменений в коде приложения. Используя Amazon MSK, вы поддерживаете совместимость с открытым исходным кодом и можете продолжать использовать знакомые пользовательские и созданные сообществом инструменты, такие как MirrorMaker, Apache Flink и Prometheus.

Полностью управляемый сервис

Amazon MSK позволяет сосредоточиться на создании потоковых приложений и не беспокоиться об эксплуатационных затратах на управление средой Apache Kafka. Amazon MSK управляет инициализацией, настройкой и обслуживанием кластеров Apache Kafka и узлов Apache ZooKeeper. Amazon MSK также показывает ключевые показатели производительности Apache Kafka в консоли AWS.

Потоковая обработка с эластичным масштабированием

Apache Flink – это мощная среда обработки потоков с открытым исходным кодом, используемая для вычислений потоковых данных с сохранением состояния. Вы можете запускать полностью управляемые приложения Apache Flink, написанные на SQL, Java или Scala, которые эластично масштабируются для обработки потоков данных в Amazon MSK.

Высокая доступность

Amazon MSK создает кластер Apache Kafka и предлагает репликацию нескольких AZ в регионе AWS. Amazon MSK постоянно отслеживает работоспособность кластера и в случае сбоя компонента автоматически его заменяет.

Высокая степень безопасности

Amazon MSK обеспечивает несколько уровней безопасности для кластеров Apache Kafka, включая изоляцию сети VPC, AWS IAM для авторизации API области управления, шифрование в состоянии покоя, транзитное шифрование TLS, аутентификацию на основе TLS-сертификатов, и поддерживает списки контроля доступа Apache Kafka (ACL) для авторизации плоскости данных.

Примеры использования клиентами

Примеры использования клиентами »

Принцип работы

Apache Kafka – это хранилище потоковых данных, которое изолирует приложения, производящие потоковые данные (производители) для хранилища, от приложений, потребляющих потоковые данные (потребители) из хранилища. Компании используют Apache Kafka в качестве источника данных для приложений, которые выполняют непрерывный анализ потоковых данных и ответные действия.

Достаточно нескольких щелчков мышью в консоли Amazon MSK, чтобы сервис Amazon MSK создал для клиента кластер Apache Kafka; а поскольку сервис поддерживает постоянное обновление версий, для использования можно выбрать самую новую из поддерживаемых версий Apache Kafka. После настройки кластеров приложения могут передавать данные от производителей в тему, откуда данные считываются потребителями в режиме реального времени.