ストリーミングデータを簡単にキャプチャ、処理、保存 ! Amazon Kinesis Data Streams をグラレコで解説

builders.flash 読者のみなさん、こんにちは ! テクニカルライターの米倉裕基と申します。

本記事では、リアルタイムで大規模なストリーミングデータをキャプチャ、処理、保存できる AWS のサーバーレスストリーミングデータサービス、Amazon Kinesis Data Streams について紹介します。

※ 本連載では、様々な AWS サービスをグラフィックレコーディングで紹介する awsgeek.com を、日本語に翻訳し、図の解説をしていきます。awsgeek.com は 、Jerry Hargrove 氏が運営しているサイトです。

X ポスト » | Facebook シェア » | はてブ »

現代のビジネスとテクノロジーの環境では、ウェブサイトの活動、オンライン取引、センサーデータ、ユーザー行動など、さまざまなソースからリアルタイムでデータが大量に生成されています。こうした日々生み出される膨大なデータをうまく分析し活用することで、市場動向を把握したり、顧客行動からインサイトを得たり、システムの健全性を監視するなど、ビジネスにおける競争力を高めることができます。Amazon Kinesis Data Streams は、多様なデータソースからリアルタイムで発生するデータを効率的に収集、処理、保存するために設計されたストリーミングデータサービスです。

本記事では、Amazon Kinesis Data Streams の主な機能と特徴を以下の項目に分けてご説明します。

• Amazon Kinesis Data Streams の概要

• 主要なコンポーネント

• シャードの機能と役割

• データレコードとパーティションキー

• データフローとリアルタイム処理

• データの暗号化とセキュリティ

• 料金体系と最適化のポイント

それでは、項目ごとに詳しく見ていきましょう。

KDS の基本構造は、「データプロデューサー」、「データストリーム」、および「データコンシューマー」の 3 つの主要なコンポーネントから成り立っています。これらのコンポーネントは緊密に連携し、効率的なストリーミングデータ処理システムを構築します。

KDS では、各シャードに特定のスループット容量が割り当てられます。通常、1 つのシャードは、1 秒あたり 1MB のデータを書き込み、また 1 秒あたり 2MB のデータを読み取ることができます。また、各シャードは 1 秒あたり最大 1,000 のレコードを書き込むことができます。

シャードの数が多ければ多いほど、KDS ストリーム全体のスループットも比例して増加します。具体的には、1 つのシャードが 1 秒あたり 1MB のデータを書き込む能力がある場合、10 個のシャードを持つストリームは、1 秒あたり最大 10MB のデータを書き込むことができます。このように、シャードの数がストリームのスループットを決定する重要な要素であり、適切なシャード数の設定はパフォーマンスに大きく影響します。

また、KDS ではデータストリームの容量モードとして「プロビジョニングモード」と「オンデマンドモード」の 2 つを提供しています。プロビジョニングモードでは、ユーザーがシャード数を事前に設定する必要がありますが、オンデマンドモードでは、データの処理量に基づいてシャード数が自動的に調整され、容量の計画や手動でのインフラストラクチャ調整が不要になります。予測不能なワークロードが予想される場合、オンデマンドモードが適しています。

シャードについて詳しくは、デベロッパーガイドの「シャード」セクションをご覧ください。

KDS でデータを送信する際の基本単位が「データレコード」です。データレコードは、「シーケンス番号」と「パーティションキー」という情報を持っており、これらの属性によってストリーミングデータの効率的な処理とデータの順序保証が可能になります。

パーティションキーは、データがどのシャードにルーティングされるかを決定するためにユーザーによって設定される値です。KDS はパーティションキーを基に、データレコードを適切なシャードに効率よくルーティングし、各シャードに均等なデータ量が保たれるようにします。これにより、スループット (データの処理速度) が最適化されます。

パーティションキーの選定は重要で、ストリーム全体のスループットに直接影響を与えます。例えば、ある特定のパーティションキーが過度に使用されると、そのシャードにデータが集中してしまい、他のシャードが十分に活用されない可能性があります。このため、パーティションキーを選定する際には、データの均等な分布と高いスループットを実現することが重要です。

データレコードについて詳しくは、デベロッパーガイドの「データレコード」セクションをご覧ください。

これまでに、KDS の主要なコンポーネント、シャード、そしてデータレコードとパーティションキーについて説明しました。ここでは、それらの要素がどのように組み合わさって、KDS が高度なリアルタイムデータ処理を可能にするのかを説明します。データプロデューサーからデータストリームへのデータの流れと、その後どのようにデータコンシューマーがデータを利用するのか、全体のフローを見ていきます。

データストリームからデータを読み取る側、すなわちデータコンシューマーには多くの選択肢があります。Kinesis 系統のサービスや他の AWS サービスを始め、Apache Spark、MongoDB、 Splunk など多くのサードパーティー製サービスとも連携でき、豊富な連携オプションの中から用途に合うデータコンシューマーを自由に選択できます。

• 既存のサービスを利用：
  リアルタイム分析には Amazon Managed Service for Apache Flink が、特定のイベント処理には AWS Lambda が有用です。また、データを永続的に保存する場合、Amazon Kinesis Data Firehose を経由して Amazon S3 や Amazon Redshift、Amazon OpenSearch Service などに簡単に保存できます。さらに、AWS re:Invent 2022 で発表された Redshift の新機能、Streaming Ingestion を利用することで、Redshift にネイティブに連携し、KDS からのデータストリームをリアルタイムで読み取って処理することが可能になります。

• 独自のアプリケーションを利用：
  既存のサービスに合わない独自の処理が必要な場合、Amazon Kinesis Client Library や Amazon Kinesis Connector Library を使用してカスタムアプリケーションを開発することもできます。たとえば、特定のフィルタリングやデータ変換が必要な場合、これらのライブラリを使って実装することができます。

KDS からのデータの読み取りについて詳しくは、「Amazon Kinesis Data Streams からのデータの読み取り」をご覧ください。

KDS では、多様な手段でデータ送信とデータ受信が可能です。KDS 以外の Kinesis アプリや、他の AWS サービスを連携することで、柔軟にストリーミングデータを効率よく処理する強力なデータパイプラインを構成できます。この一連のデータフローが、KDS の多様な用途に応用できる柔軟性と拡張性を提供しています。

KDS を使った一連のデータフローについて詳しくは、「ストリームの作成と管理」をご覧ください。

ビジネスやアプリケーションが重要なデータを処理する際には、データの暗号化とセキュリティは何よりも重要です。KDS は、これらの要求に対応するために、多くのセキュリティ機能を提供しています。ここでは、KDS が提供する主要なセキュリティ要素を説明します。

Amazon Virtual Private Cloud (VPC) 内での KDS の利用は、VPC エンドポイントと AWS PrivateLink を活用することにより、パブリックインターネットを経由せずに KDS にアクセスし、データの送受信がセキュアなネットワーク環境で行われることを可能にします。VPC エンドポイントを使用することで、KDS との通信が AWS のネットワーク内で保たれ、インターネットへの露出を避けることができます。

AWS Identity and Access Management (IAM) を使用すると、AWS アカウント内でユーザーやグループを作成し、各ユーザーにユニークなセキュリティ資格情報を割り当てることができます。IAM ポリシーでは、許可されるアクションとそれらのアクションが適用されるリソースを明示的にリスト化することができ、KDS のプロデューサーとコンシューマーに通常必要とされる最小の権限を明示することができます。

これらのセキュリティとアクセス制御の対策を通じて、KDS はデータ処理プロセス全体で高いセキュリティを実現し、信頼性の高いリアルタイムストリーミングデータサービスを提供します。KDS のセキュリティについて詳しくは、「Amazon Kinesis Data Streams のセキュリティ」をご覧ください。

KDS の料金は主にシャード時間、PUT ペイロードユニット、およびデータ保持期間に基づいて計算されます。ここでは、KDS の料金体系と最適化のポイントについて簡単に説明します。

コストとパフォーマンスのバランスを最適化するためには、シャードの数とデータの保持期間を適切に設定することが重要です。Amazon CloudWatch を利用することで、リアルタイムでシャードとデータ使用量の監視が可能となり、必要に応じて効率的にコストを最適化することができます。

また、2021 年 11 月に AWS はオンデマンドキャパシティモードを KDS に導入しました。これにより、手動でデータストリームのキャパシティを簡単に更新できるようになり、書き込みと読み取りスループットを毎分提供できるようになりました。オンデマンドキャパシティモードは、突発的なトラフィックの増加や予期せぬ使用量の変動に素早く対応することができ、コストとパフォーマンスの最適化に貢献します。

KDS では、データの暗号化、アクセス制御、および監査証跡などの機能を実装することが容易であり、これにより、FedRAMP、HIPAA、PCI、および SOC といった主要なコンプライアンス要件を満たすことができます。これらのコンプライアンス要件を満たすことで、ビジネスは法律と規制の要件を満たし、顧客データの安全を保護し、信頼と満足度を向上させることができます。さらに、これらの機能を効率的に実装および管理することで、コンプライアンスに関連するコストを削減することも期待できます。

KDS の利用料金について詳しくは、「Amazon Kinesis Data Streams の料金」をご覧ください。

最後に、本記事で紹介した機能の全体図を見てみましょう。

本記事では、ストリーミングデータサービス KDS の機能や概念について紹介しました。KDS は、データのリアルタイム処理が必要な幅広い業界とアプリケーションで利用されています。例えば、金融サービス業界での取引データのモニタリング、製造業でのセンサーデータのリアルタイム分析、広告業界でのクリックストリーム分析など、多岐にわたる用途で活用されており、KDS の柔軟性と強力なリアルタイムデータ処理能力が活かされています。

本記事を読んで KDS に興味を持たれた方、実際に使ってみたいと思われた方は、ぜひ製品ページの「Amazon Kinesis Data Streams」や、AWS Black Belt の「Amazon Kinesis Video Streams 基礎編」など入門者向けのコンテンツも合わせてご覧ください。