Представляем задания потоковой передачи Бессерверной конфигурации Amazon EMR для непрерывной обработки данных потоковой передачи
Бессерверная конфигурация Amazon EMR — это бессерверная опция в Amazon EMR, которая позволяет инженерам по данным и специалистам по обработке данных легко запускать платформы аналитики больших данных с открытым исходным кодом без настройки, управления и масштабирования кластеров или серверов. Мы рады объявить о новом режиме заданий потоковой передачи в Бессерверной конфигурации Amazon EMR, который позволит вам непрерывно анализировать и обрабатывать данные потоковой передачи.
Потоковая передача данных стала жизненно важной для бизнеса, поскольку она позволяет компаниям получать непрерывную аналитическую информацию из таких источников данных, как датчики, устройства Интернета вещей и веб-журналы. Однако обработка данных потоковой передачи может быть сложной задачей из-за таких требований, как высокая доступность, устойчивость к сбоям и интеграция с сервисами потоковой передачи. Задания потоковой передачи Бессерверной конфигурации Amazon EMR имеют встроенные функции для решения этих проблем. Они обеспечивают высокую доступность благодаря отказоустойчивости в нескольких зонах доступности за счет автоматического переключения на работоспособные зоны доступности. Они также обеспечивают повышенную отказоустойчивость за счет автоматических повторных попыток выполнения заданий в случае сбоев и таких функций управления журналами, как ротация и сжатие журналов, предотвращающих накопление файлов журналов, которое может привести к сбоям при выполнении заданий. Кроме того, задания потоковой передачи Бессерверной конфигурации Amazon EMR поддерживают обработку данных из сервисов потоковой передачи, таких как самоуправляемые кластеры Apache Kafka и Управляемая потоковая передача Amazon для Apache Kafka. Теперь они интегрированы с Потоками данных Amazon Kinesis с помощью нового встроенного Соединителя Потоков данных Amazon Kinesis, что упрощает создание сквозных конвейеров потоковой передачи.
Задания потоковой передачи Бессерверной конфигурации Amazon EMR общедоступны в версиях EMR 7.1.0 и выше и в следующих регионах AWS: Восток США (Северная Вирджиния, Огайо), Запад США (Орегон), Европа (Стокгольм, Париж, Франкфурт, Ирландия, Лондон), Южная Америка (Сан-Паулу) и Азиатско-Тихоокеанский регион (Токио, Сеул, Сингапур, Мумбаи, Сидней). Чтобы начать работу, посетите страницу заданий потоковой передачи Бессерверной конфигурации Amazon EMR в руководстве пользователя Бессерверной конфигурации Amazon EMR.