ストリーミングデータを簡単にキャプチャ、処理、保存 ! Amazon Kinesis Data Streams をグラレコで解説

現代のビジネスとテクノロジーの環境では、ウェブサイトの活動、オンライン取引、センサーデータ、ユーザー行動など、さまざまなソースからリアルタイムでデータが大量に生成されています。こうした日々生み出される膨大なデータをうまく分析し活用することで、市場動向を把握したり、顧客行動からインサイトを得たり、システムの健全性を監視するなど、ビジネスにおける競争力を高めることができます。Amazon Kinesis Data Streams は、多様なデータソースからリアルタイムで発生するデータを効率的に収集、処理、保存するために設計されたストリーミングデータサービスです。

本記事では、Amazon Kinesis Data Streams の主な機能と特徴を以下の項目に分けてご説明します。

• Amazon Kinesis Data Streams の概要
• 主要なコンポーネント
• シャードの機能と役割
• データレコードとパーティションキー
• データフローとリアルタイム処理
• データの暗号化とセキュリティ
• 料金体系と最適化のポイント
  

それでは、項目ごとに詳しく見ていきましょう。

Amazon Kinesis Data Streams (以下 KDS) は、AWS が提供するリアルタイムのストリーミングデータサービスです。

KDS の主な特徴は以下のとおりで、これらの特徴を利用して、リアルタイムでさまざまなデータソースからストリーミングデータを収集、保存、および処理することができます。

• リアルタイムデータ処理:
  KDS を使用することで、大量のストリーミングデータをリアルタイムに処理し分析することができます。これにより、企業はリアルタイムのダッシュボード、異常検出、動的価格設定などを利用して迅速な意思決定を行うことができます。毎秒ギガバイトのデータを連続してキャプチャし、ミリ秒単位で収集したデータを利用することができます。
  
• 多様なデータソース:
  KDS は Amazon CloudWatch Logs や Amazon EventBridge、Amazon CloudFront といった様々な AWS サービスと連携が可能で、異なるデータソースからのストリーミングデータをサポートします。他の AWS サービスと連携することで、データを収集したり、分析したり、保存したりできます。この柔軟性は、企業がさまざまなデータソースを効率的に管理し、リアルタイムのインサイトを得る助けとなります。
  
• 耐久性と信頼性:
  KDS は、データを AWS リージョン内の 3 つのアベイラビリティーゾーンに同期的にレプリケートし、デフォルトで 24 時間のデータ保持期間を提供し、オプションで最大 365 日間に延長することが可能です。この特徴により、データロスのリスクが大幅に低減し、長期間にわたるデータアクセスと分析が可能となります。
  

また、KDS は低レイテンシーや、高スループット、キャパシティモード、セキュリティなどの面で、多くの特徴を備えています。その他 KDS の特徴について詳しくは、「Amazon Kinesis Data Streams features」をご覧ください。

KDS の基本構造は、「データプロデューサー」、「データストリーム」、および「データコンシューマー」の 3 つの主要なコンポーネントから成り立っています。これらのコンポーネントは緊密に連携し、効率的なストリーミングデータ処理システムを構築します。

KDS の主要なコンポーネントについて詳しくは、「Amazon Kinesis Data Streams の用語と概念」をご覧ください。

シャードは、KDS のアーキテクチャにおいて非常に重要な要素です。基本的に、シャードはデータストリーム内の単位であり、データはいずれかのシャードに割り当てられて保存されます。シャードは、KDS が大規模なデータセットを効率的に管理するための構成要素です。シャードによって、データの取り扱いが水平にスケール (拡大 / 縮小) することが可能になります。

KDS では、各シャードに特定のスループット容量が割り当てられます。通常、1 つのシャードは、1 秒あたり 1MB のデータを書き込み、また 1 秒あたり 2MB のデータを読み取ることができます。また、各シャードは 1 秒あたり最大 1,000 のレコードを書き込むことができます。

シャードの数が多ければ多いほど、KDS ストリーム全体のスループットも比例して増加します。具体的には、1 つのシャードが 1 秒あたり 1MB のデータを書き込む能力がある場合、10 個のシャードを持つストリームは、1 秒あたり最大 10MB のデータを書き込むことができます。このように、シャードの数がストリームのスループットを決定する重要な要素であり、適切なシャード数の設定はパフォーマンスに大きく影響します。

また、KDS ではデータストリームの容量モードとして「プロビジョニングモード」と「オンデマンドモード」の 2 つを提供しています。プロビジョニングモードでは、ユーザーがシャード数を事前に設定する必要がありますが、オンデマンドモードでは、データの処理量に基づいてシャード数が自動的に調整され、容量の計画や手動でのインフラストラクチャ調整が不要になります。予測不能なワークロードが予想される場合、オンデマンドモードが適しています。

シャードについて詳しくは、デベロッパーガイドの「シャード」セクションをご覧ください。

KDS でデータを送信する際の基本単位が「データレコード」です。データレコードは、「シーケンス番号」と「パーティションキー」という情報を持っており、これらの属性によってストリーミングデータの効率的な処理とデータの順序保証が可能になります。

パーティションキーは、データがどのシャードにルーティングされるかを決定するためにユーザーによって設定される値です。KDS はパーティションキーを基に、データレコードを適切なシャードに効率よくルーティングし、各シャードに均等なデータ量が保たれるようにします。これにより、スループット (データの処理速度) が最適化されます。

パーティションキーの選定は重要で、ストリーム全体のスループットに直接影響を与えます。例えば、ある特定のパーティションキーが過度に使用されると、そのシャードにデータが集中してしまい、他のシャードが十分に活用されない可能性があります。このため、パーティションキーを選定する際には、データの均等な分布と高いスループットを実現することが重要です。

データレコードについて詳しくは、デベロッパーガイドの「データレコード」セクションをご覧ください。

これまでに、KDS の主要なコンポーネント、シャード、そしてデータレコードとパーティションキーについて説明しました。ここでは、それらの要素がどのように組み合わさって、KDS が高度なリアルタイムデータ処理を可能にするのかを説明します。データプロデューサーからデータストリームへのデータの流れと、その後どのようにデータコンシューマーがデータを利用するのか、全体のフローを見ていきます。

データを KDS に送信するには、標準の API やライブラリを使うなどいくつかの方法があります。

KDS へのデータの書き込みについて詳しくは、「Amazon Kinesis Data Streams へのデータの書き込み」をご覧ください。

データストリームからデータを読み取る側、すなわちデータコンシューマーには多くの選択肢があります。Kinesis 系統のサービスや他の AWS サービスを始め、Apache Spark、MongoDB、 Splunk など多くのサードパーティー製サービスとも連携でき、豊富な連携オプションの中から用途に合うデータコンシューマーを自由に選択できます。

• 既存のサービスを利用：
  リアルタイム分析には Amazon Managed Service for Apache Flink が、特定のイベント処理には AWS Lambda が有用です。また、データを永続的に保存する場合、Amazon Kinesis Data Firehose を経由して Amazon S3 や Amazon Redshift、Amazon OpenSearch Service などに簡単に保存できます。さらに、AWS re:Invent 2022 で発表された Redshift の新機能、Streaming Ingestion を利用することで、Redshift にネイティブに連携し、KDS からのデータストリームをリアルタイムで読み取って処理することが可能になります。
• 独自のアプリケーションを利用：
  既存のサービスに合わない独自の処理が必要な場合、Amazon Kinesis Client Library や Amazon Kinesis Connector Library を使用してカスタムアプリケーションを開発することもできます。たとえば、特定のフィルタリングやデータ変換が必要な場合、これらのライブラリを使って実装することができます。

KDS からのデータの読み取りについて詳しくは、「Amazon Kinesis Data Streams からのデータの読み取り」をご覧ください。

KDS では、多様な手段でデータ送信とデータ受信が可能です。KDS 以外の Kinesis アプリや、他の AWS サービスを連携することで、柔軟にストリーミングデータを効率よく処理する強力なデータパイプラインを構成できます。この一連のデータフローが、KDS の多様な用途に応用できる柔軟性と拡張性を提供しています。

KDS を使った一連のデータフローについて詳しくは、「ストリームの作成と管理」をご覧ください。

ビジネスやアプリケーションが重要なデータを処理する際には、データの暗号化とセキュリティは何よりも重要です。KDS は、これらの要求に対応するために、多くのセキュリティ機能を提供しています。ここでは、KDS が提供する主要なセキュリティ要素を説明します。

Amazon Virtual Private Cloud (VPC) 内での KDS の利用は、VPC エンドポイントと AWS PrivateLink を活用することにより、パブリックインターネットを経由せずに KDS にアクセスし、データの送受信がセキュアなネットワーク環境で行われることを可能にします。VPC エンドポイントを使用することで、KDS との通信が AWS のネットワーク内で保たれ、インターネットへの露出を避けることができます。

これらのセキュリティとアクセス制御の対策を通じて、KDS はデータ処理プロセス全体で高いセキュリティを実現し、信頼性の高いリアルタイムストリーミングデータサービスを提供します。KDS のセキュリティについて詳しくは、「Amazon Kinesis Data Streams のセキュリティ」をご覧ください。

KDS の料金は主にシャード時間、PUT ペイロードユニット、およびデータ保持期間に基づいて計算されます。ここでは、KDS の料金体系と最適化のポイントについて簡単に説明します。

KDS の料金は、主にシャード時間、PUT ペイロードユニット (25 KB)、およびデータ保持期間に基づいて計算されます。

コストとパフォーマンスのバランスを最適化するためには、シャードの数とデータの保持期間を適切に設定することが重要です。Amazon CloudWatch を利用することで、リアルタイムでシャードとデータ使用量の監視が可能となり、必要に応じて効率的にコストを最適化することができます。

また、2021 年 11 月に AWS はオンデマンドキャパシティモードを KDS に導入しました。これにより、手動でデータストリームのキャパシティを簡単に更新できるようになり、書き込みと読み取りスループットを毎分提供できるようになりました。オンデマンドキャパシティモードは、突発的なトラフィックの増加や予期せぬ使用量の変動に素早く対応することができ、コストとパフォーマンスの最適化に貢献します。

KDS では、データの暗号化、アクセス制御、および監査証跡などの機能を実装することが容易であり、これにより、FedRAMP、HIPAA、PCI、および SOC といった主要なコンプライアンス要件を満たすことができます。これらのコンプライアンス要件を満たすことで、ビジネスは法律と規制の要件を満たし、顧客データの安全を保護し、信頼と満足度を向上させることができます。さらに、これらの機能を効率的に実装および管理することで、コンプライアンスに関連するコストを削減することも期待できます。

KDS の利用料金について詳しくは、「Amazon Kinesis Data Streams の料金」をご覧ください。

最後に、本記事で紹介した機能の全体図を見てみましょう。