Amazon Redshift объявляет о поддержке Confluent Cloud и Apache Kafka
Amazon Redshift теперь поддерживает прием потоковых данных из управляемого облака Confluent и самоуправляемых кластеров Apache Kafka на инстансах Amazon EC2. Это расширяет возможности сервиса за пределы Потоков данных Amazon Kinesis (KDS) и Управляемой потоковой передачи Amazon для Apache Kafka (MSK).
Благодаря этому обновлению клиенты могут получать данные из более широкого спектра потоковых источников непосредственно в свои хранилища данных Amazon Redshift. Amazon Redshift представляет mTLS (взаимный протокол TLS) в качестве протокола аутентификации для безопасного обмена данными между Amazon Redshift и новыми поддерживаемыми источниками потоковой передачи Kafka. Это гарантирует, что прием данных из этих новых источников будет соответствовать высоким стандартам безопасности, ожидаемым в корпоративных рабочих процессах обработки данных. Кроме того, был введен новый идентификатор SQL – KAFKA, который упрощает идентификацию этих новых поддерживаемых источников Kafka в определениях внешней схемы Amazon Redshift.
Вы можете сразу же начать использовать эту расширенную возможность приема потоковых данных для создания более полных и гибких конвейеров данных, принимающих данные из различных источников Kafka – предлагаемых AWS (Amazon MSK), предоставляемых партнерами (Confluent Cloud) или самоуправляемых (Apache Kafka) в Amazon EC2.
Чтобы узнать больше и начать потоковую передачу данных в Amazon Redshift из любого источника Kafka, обратитесь к документации по потоковой передаче Amazon Redshift.