Брокеры Amazon MSK Express теперь доставляют данные Apache Kafka в Amazon S3
Брокеры Amazon MSK Express теперь доставляют данные в бакеты Amazon S3 общего назначения, предоставляя полностью управляемую возможность доставки данных Apache Kafka в Amazon S3 для последующей обработки самым простым и надежным способом. Пропускная способность масштабируется автоматически для доставки больших объемов данных Kafka в S3, благодаря чему достигается полная надежность для критически важных рабочих нагрузок, а затраты на прием и доставку снижаются до 60 % по сравнению с альтернативными способами самостоятельного управления.
Клиенты передают данные Apache Kafka в Amazon S3 для таких сценариев, как архивирование журналов, хранение данных в соответствии с нормативными требованиями, воспроизведение событий Kafka и обучение моделей ИИ и машинного обучения. Обычно в таких конвейерах используются самоуправляемые коннекторы, стоимость и эксплуатационная сложность которых растут по мере масштабирования рабочих нагрузок, заставляя команды разрабатывать или приобретать плагины коннекторов S3, получать разрешение на их развертывание, постоянно масштабировать емкость и применять обновления безопасности для всего парка коннекторов. Благодаря этой возможности MSK Express автоматически выполняет масштабирование, повторные попытки и контроль обратного потока, так что клиентам больше не приходится управлять парком коннекторов и координировать работу команд. MSK Express поддерживает пропускную способность до 10 Гбит/с для доставки данных в Amazon S3 и управляет рутинными операциями, такими как масштабирование емкости и обновление версий, без перебоев в доставке. Кроме того, при добавлении этой возможности клиентам не приходится выделять дополнительную пропускную способность для исходящих данных брокеров, что исключает дополнительные затраты на инфраструктуру, которые обычно возникают при масштабировании конвейеров на основе коннекторов. Клиенты масштабируют доставку в соответствии с фактическими потребностями рабочих нагрузок, а не по пиковым показателям, что обеспечивает надежную, высокопроизводительную доставку данных в Amazon S3, одновременно сокращая эксплуатационные издержки и стоимость.
Доставка данных Amazon MSK в Amazon S3 сегодня доступна во всех регионах AWS, где предлагаются брокеры Amazon MSK Express. Сведения о ценах см. на странице цен. Подробнее см. в Руководстве по Amazon MSK для разработчиков и на странице, посвященной навыкам работы с ИИ в Amazon MSK.