게시된 날짜: Sep 27, 2023
이제 Amazon Kinesis Data Firehose는 Amazon MSK와 통합되어 Amazon MSK Apache Kafka 클러스터의 스트리밍 데이터를 처리하여 Amazon S3에 저장된 데이터 레이크로 전송하는 작업을 간소화하는 완전관리형 솔루션을 제공합니다. Amazon MSK 고객은 단 몇 번의 클릭만으로 원하는 Apache Kafka 클러스터의 데이터를 Amazon S3 버킷으로 지속적으로 로드할 수 있으므로, 자체 커넥터 애플리케이션을 개발하거나 실행할 필요가 없습니다.
Amazon MSK는 Apache Kafka를 위한 완전관리형 서비스로서, Apache Kafka를 데이터 스토어로 사용하는 애플리케이션을 손쉽게 구축 및 실행하도록 지원합니다. Kinesis Data Firehose는 스트리밍 데이터를 지속적으로 캡처 및 변환하여 데이터 레이크, 데이터 스토어, 분석 서비스로 전송하는 완전관리형 서비스입니다. Kinesis Data Firehose는 Amazon MSK 데이터 처리량에 대응하여 자동으로 확장되며 지속적인 관리가 필요 없습니다. 또한 JSON에서 Parquet/ORC로 형식 변환 및 배치 집계와 같이 사용하기 쉬운 기능을 제공하여 S3 파일 크기를 최적화합니다. 이러한 기능은 전송된 데이터에 대한 데이터 분석/처리 워크플로를 간소화합니다.
시작하려면 AWS 계정이 필요합니다. 계정이 있으면 Amazon Kinesis 콘솔에서 전송 스트림을 생성할 수 있습니다. 자세한 내용은 Amazon Kinesis Data Firehose 개발자 안내서에서 확인하세요.
Amazon Kinesis Data Firehose를 사용하여 Amazon MSK에서 Amazon S3로 전송하는 기능은 Amazon MSK 및 Kinesis Data Firehose가 제공되는 모든 상용 리전과 AWS GovCloud(미국) 리전에서 사용할 수 있습니다.
2024년 2월 9일부로, Kinesis Data Firehose가 Amazon Data Firehose로 변경되었습니다.