Amazon Data Firehose は Amazon S3 の Apache Iceberg 形式のテーブルにデータストリームを配信
Amazon Data Firehose (Firehose) は、Amazon S3 の Apache Iceberg テーブルにデータストリームを配信できるようになりました。
Firehose を使用すると、お客様はデータストリームを取得し、これを変換して、Amazon S3、Amazon Redshift、OpenSearch、Splunk、Snowflake、その他の宛先に分析用として配信できます。この新機能により、Firehose は Apache Iceberg と統合されるため、お客様は Amazon S3 データレイク内の Apache Iceberg テーブルにデータストリームを直接配信できます。Firehose は、Kinesis Data Streams、Amazon MSK、Direct PUT API のいずれかからデータストリームを取得できます。また、AWS WAF ウェブ ACL ログ、Amazon CloudWatch Logs、Amazon VPC フローログ、AWS IoT、Amazon SNS、AWS API Gateway アクセスログ (さらに、こちらに記載されているその他多数) など、AWS のサービスからストリームを取得するように統合されています。お客様は、これらのソースのいずれかからデータを Amazon S3 の Apache Iceberg テーブルに直接ストリーミングできるため、複数のステップから成るプロセスを回避できます。Firehose はサーバーレスなので、お客様は送信元と送信先のプロパティを設定するだけでストリームをセットアップでき、処理されたバイト数に基づいて料金を支払うことができます。
この新機能により、お客様は受信レコードの内容に基づいてデータストリーム内のレコードをさまざまな Apache Iceberg テーブルにルーティングすることもできます。レコードを異なるテーブルにルーティングするには、お客様は JSON 式を使用してルーティングルールを設定できます。さらに、お客様は、受信レコードに対して宛先の Apache Iceberg テーブルで行レベルの更新操作または削除操作を適用するかどうかを指定したり、データ修正や忘れられる権利のシナリオの処理を自動化したりできます。
開始するには、Amazon Data Firehose のドキュメント、料金、コンソールをご覧ください。