投稿日: Sep 27, 2023
Amazon Kinesis Data Firehose が Amazon MSK と統合され、Amazon MSK Apache Kafka クラスターから Amazon S3 に保存されているデータレイクへのストリーミングデータの処理と配信を簡素化するフルマネージドソリューションをご利用いただけるようになりました。Amazon MSK のお客様は、数回クリックするだけで、目的の Apache Kafka クラスターから Amazon S3 バケットにデータを継続的にロードできるため、独自のコネクタアプリケーションを開発したり実行したりする必要がありません。
Amazon MSK は Apache Kafka 向けのフルマネージドサービスで、Apache Kafka をデータストアとして使用するアプリケーションをより簡単に構築して実行できます。Kinesis Data Firehose は、ストリーミングデータを継続的にキャプチャおよび変換し、データレイク、データストア、分析サービスに配信するフルマネージドサービスです。Kinesis Data Firehose は、継続的な管理を行うことなく、Amazon MSK データのスループットに合わせて自動的にスケールします。Kinesis Data Firehose には、JSON から Parquet/ORC へのフォーマット変換や S3 ファイルサイズを最適化するためのバッチアグリゲーションなどの使いやすい機能も用意されています。これらの機能は、配信データのデータ分析/処理ワークフローを簡素化します。
使用を開始するには、AWS のアカウントが必要です。アカウントを作成すると、Amazon Kinesis コンソールで配信ストリームの作成が可能になります。詳細については、Amazon Kinesis Data Firehose のデベロッパーガイドを参照してください。
Amazon Kinesis Data Firehose を使用した Amazon MSK から Amazon S3 への配信は、Amazon MSK と Kinesis Data Firehose が利用可能なすべての商用リージョンおよび AWS GovCloud (米国) リージョンで使用できます。
2024 年 2 月 9 日より、Kinesis Data Firehose は Amazon Data Firehose に名称変更しました