Amazon MSK – Managed Streaming For Apache Kafka

Amazon MSK – это полностью управляемый сервис, который упрощает создание и запуск приложений, использующих Apache Kafka для обработки потоковых данных. Apache Kafka – это платформа с открытым исходным кодом для создания потоковых конвейеров данных и приложений в реальном времени. С помощью Amazon MSK вы можете использовать собственные API-интерфейсы Apache Kafka для заполнения озер данных, потоковой передачи измененных данных в базы данных и обратно, а также для мощных приложений машинного обучения и аналитики.

Кластеры Apache Kafka сложны в настройке, масштабировании и управлении. Выполняя запуск Apache Kafka самостоятельно, вы должны подготовить серверы, вручную настроить Apache Kafka, заменить серверы в случае их сбоя, осуществлять управление файлами с исправлениями и обновлениями для серверов, спроектировать кластер для высокой отказоустойчивости, обеспечить надежное хранение и защиту данных, настроить мониторинг и аварийные сигналы и тщательно спланировать события масштабирования для поддержки изменений нагрузки. Amazon MSK упрощает создание и запуск прикладного программного обеспечения на Apache Kafka, при этом пользователь может не иметь опыта управления инфраструктурой Apache Kafka. Вы сможете тратить меньше времени на управление инфраструктурой и уделить больше внимания созданию приложений.

С помощью нескольких щелчков мышью в консоли Amazon MSK вы сможете создавать кластеры Apache Kafka высокой надежности с настройками и конфигурацией в соответствии с рекомендациями по развертыванию Apache Kafka. Amazon MSK автоматически инициализирует и запускает кластеры Apache Kafka. Amazon MSK постоянно отслеживает работоспособность кластера и автоматически заменяет поврежденные узлы без прерывания работы приложения. Кроме того, Amazon MSK защищает кластер Apache Kafka, шифруя данные в состоянии покоя.

Преимущества

Полная совместимость

Amazon MSK запускает и управляет Apache Kafka вместо вас. Это упрощает миграцию и запуск существующих приложений Apache Kafka в AWS без изменений в коде приложения. Используя Amazon MSK, вы поддерживаете совместимость с открытым исходным кодом и можете продолжать использовать знакомые пользовательские и созданные сообществом инструменты, такие как MirrorMaker, Apache Flink и Prometheus.

Полностью управляемый сервис

Amazon MSK позволяет сосредоточиться на создании потоковых приложений и не беспокоиться об эксплуатационных затратах на управление средой Apache Kafka. Amazon MSK управляет инициализацией, настройкой и обслуживанием кластеров Apache Kafka и узлов Apache ZooKeeper. Amazon MSK также показывает ключевые показатели производительности Apache Kafka в консоли AWS.

Потоковая обработка с эластичным масштабированием

Apache Flink – это мощная среда обработки потоков с открытым исходным кодом, используемая для вычислений потоковых данных с сохранением состояния. Вы можете запускать полностью управляемые приложения Apache Flink, написанные на SQL, Java или Scala, которые эластично масштабируются для обработки потоков данных в Amazon MSK.

Высокая доступность

Amazon MSK создает кластер Apache Kafka и предлагает репликацию нескольких AZ в регионе AWS. Amazon MSK постоянно отслеживает работоспособность кластера и в случае сбоя компонента автоматически его заменяет.

Высокая безопасность

Amazon MSK обеспечивает несколько уровней безопасности для кластеров Apache Kafka, включая изоляцию сети VPC, AWS IAM для авторизации API области управления, шифрование в состоянии покоя, транзитное TLS‑шифрование, аутентификацию на основе сертификатов TLS и авторизацию SASL/SCRAM при поддержке сервиса AWS Secrets Manager. Дополнительно сервис поддерживает списки контроля доступа Apache Kafka (ACL) для авторизации плоскости данных.

Примеры использования клиентами

Примеры использования клиентами »

Принцип работы

Apache Kafka – это хранилище потоковых данных, которое изолирует приложения, производящие потоковые данные (производители) для хранилища, от приложений, потребляющих потоковые данные (потребители) из хранилища. Компании используют Apache Kafka в качестве источника данных для приложений, которые выполняют непрерывный анализ потоковых данных и ответные действия.

Достаточно нескольких щелчков мышью в консоли Amazon MSK, чтобы сервис Amazon MSK создал для клиента кластер Apache Kafka; а поскольку сервис поддерживает постоянное обновление версий, для использования можно выбрать самую новую из поддерживаемых версий Apache Kafka. После настройки кластеров приложения могут передавать данные от производителей в тему, откуда данные считываются потребителями в режиме реального времени.