AWS の分析サービスの選択

データの取り込み、変換、クレンジング、および分析の準備を行う方法に関するデータ処理要件を決定します。重要な考慮事項には次が含まれます。

• データ変換: 生データを分析に適したデータにするために必要な特定の変換を決定します。これには、データの集約、正規化、フィルタリング、エンリッチメントなどのタスクが含まれます。
• データクレンジング: データ品質を評価し、欠けているデータ、不正確なデータ、または一貫性のないデータを処理するプロセスを定義します。データクレンジングの手法を実装して、信頼性の高いインサイトを得るために、データが高品質であるようにします。
• 処理頻度: 分析のニーズに基づいて、リアルタイム、ほぼリアルタイム、またはバッチ処理が必要かどうかを決定します。リアルタイム処理を利用すると直ちにインサイトを得ることができますが、定期的な分析にはバッチ処理で十分な場合があります。
• スケーラビリティとスループット: データ量、処理速度、同時データリクエスト数の処理に関するスケーラビリティ要件を評価します。選択した処理アプローチが将来の成長に対応できるものであるようにしてください。
• レイテンシー: データ処理についての許容可能なレイテンシーと、データインジェストから分析結果を得るまでにかかる時間を考慮します。これは、リアルタイムまたは時間が重要な要素である分析にとって特に重要です。

分析パイプライン全体におけるデータの保存方法と保存場所を決定することで、ストレージのニーズを明らかにします。重要な考慮事項には次が含まれます。

• データ量: 生成および収集されるデータの量を評価し、将来のデータ増加を予測して、十分なストレージキャパシティを計画します。
• データ保持: 履歴分析またはコンプライアンスの目的でデータを保持する必要がある期間を定義します。適切なデータ保持ポリシーを決定します。
• データアクセスパターン: 最適なストレージソリューションを選択するために、データがどのようにアクセスおよびクエリされるかを理解します。読み取りおよび書き込みオペレーション、データアクセスの頻度、データの局所性を考慮します。
• データセキュリティ: 機密情報を保護するための暗号化オプション、アクセスコントロール、およびデータ保護メカニズムを評価して、データセキュリティを優先します。
• コスト最適化: データのアクセスパターンと利用状況に基づいて、最もコスト効率の高いストレージソリューションを選択することで、ストレージコストを最適化します。
• 分析サービスとの統合: 選択したストレージソリューションと、パイプライン内のデータ処理および分析ツールの間のシームレスな統合を実現します。

データの収集と取り込みのための分析サービスを決定する際には、組織のニーズと目的に関連するさまざまなタイプのデータを考慮します。考慮が必要な可能性のある一般的なデータのタイプには次が含まれます。

• 取引データ: 顧客の購入、金融取引、オンライン注文、ユーザーアクティビティのログなど、個別のやり取りや取引に関する情報が含まれます。
• ファイルベースのデータ: ログファイル、スプレッドシート、ドキュメント、画像、音声ファイル、動画ファイルなど、ファイルに保存されている構造化データまたは非構造化データをいいます。分析サービスは、さまざまなファイル形式の取り込みをサポートする必要があります。
• イベントデータ: ユーザーアクション、システムイベント、マシンイベント、ビジネスイベントなどの重要な出来事やインシデントをキャプチャします。イベントは、オンストリームまたはダウンストリーム処理のためにキャプチャされた、高速で到着するあらゆるデータを含む可能性があります。

運用上の責任はお客様と AWS の間で共有され、責任の分担はモダナイゼーションのさまざまなレベルによって異なります。AWS 上の分析インフラストラクチャを自己管理するか、または多数のサーバーレス分析サービスを利用してインフラストラクチャ管理の負担を軽減するかを選択できます。

自己管理オプションでは、ユーザーはインフラストラクチャと設定をより詳細に制御できますが、運用により多くの労力がかかります。

サーバーレスオプションは運用上の負担の多くを抽象化して軽減し、自動スケーラビリティ、高可用性、堅牢なセキュリティ機能を提供するため、ユーザーはインフラストラクチャや運用タスクの管理ではなく、分析ソリューションの構築とより深いインサイトの取得に集中できるようになります。サーバーレス分析ソリューションの次の利点を考慮してください。

• インフラストラクチャの抽象化: サーバーレスサービスはインフラストラクチャ管理を抽象化し、プロビジョニング、スケール、メンテナンスのタスクからユーザーを解放します。AWS がこれらの運用面を処理するため、管理オーバーヘッドが削減されます。
• 自動スケーリングとパフォーマンス: サーバーレスサービスは、ワークロードの需要に基づいてリソースを自動的にスケールし、手動介入なしで最適なパフォーマンスを実現します。
• 高可用性とディザスタリカバリ: AWS はサーバーレスサービスのために高可用性を提供します。AWS は、データの冗長性、レプリケーション、ディザスタリカバリを管理して、データの可用性と信頼性を強化します。
• セキュリティとコンプライアンス: AWS は、業界標準とベストプラクティスに準拠して、サーバーレスサービスのセキュリティ対策、データ暗号化、コンプライアンスを管理します。
• モニタリングとログ記録: AWS は、サーバーレスサービス向けに、組み込みのモニタリング、ログ記録、アラート機能を提供します。ユーザーは、AWS CloudWatch を通じて詳細なメトリクスとログにアクセスできます。

バッチワークロード

• データの量と頻度: バッチ処理は、定期的に更新される大量のデータに適しています。
• データレイテンシー: バッチ処理では、リアルタイム処理と比較して、インサイトの提供に多少の遅れが生じる可能性があります。

インタラクティブ分析

• データクエリの複雑さ: インタラクティブ分析では、迅速なフィードバックを得るために低レイテンシーの応答が必要です。
• データビジュアライゼーション: ビジネスユーザーがデータを視覚的に探索できるようにする、インタラクティブなデータビジュアライゼーションツールの必要性を評価します。

ストリーミングワークロード

• データの速度と量: ストリーミングワークロードでは、高速データを処理するためにリアルタイム処理が必要です。
• データウィンドウ処理: ストリーミングデータ用にデータウィンドウ処理と時間ベースの集計を定義して、関連するインサイトを抽出します。

ビジネス目標と、分析から引き出したいと考えるインサイトを明確に定義します。分析の種類ごとに、その目的は異なります。例:

• 記述分析は、履歴の概要を得るのに最適です
• 診断分析は、過去の出来事の背後にある理由を理解するのに役立ちます
• 予測分析は、将来の結果を予測します
• 処方的分析は、最適なアクションに関する推奨事項を提供します

ビジネス目標と、関連する種類の分析が一致するようにしてください。適切な種類の分析を選択するのに役立つ重要な決定基準を次にいくつか示します。

• データの可用性と品質: 記述分析と診断分析は履歴データに依拠する一方で、予測分析と処方的分析では正確なモデルを構築するために十分な履歴データと高品質のデータが必要です。
• データの量と複雑さ: 予測分析と処方的分析では、大量のデータ処理と計算リソースが必要です。インフラストラクチャとツールがデータの量と複雑さに確実に対処できるようにしてください。
• 意思決定の複雑さ: 複数の可変的な要因、制約、目的が意思決定に関係する場合、最適なアクションを導くには処方的分析がより適している場合があります。
  
• リスク許容度: 処方的分析からは推奨事項が得られることがありますが、これには関連する不確実性が伴います。分析の出力に関連するリスクを、意思決定者が確実に理解できるようにしてください。

アーキテクチャのスケーラビリティとパフォーマンスのニーズを評価します。設計は、増加するデータ量、ユーザーの要求、分析ワークロードに対応できるものである必要があります。考慮すべき重要な決定要素には次が含まれます。

• データ量と増加: 現在のデータ量を評価し、将来の増加を予測します。 
• データ速度とリアルタイム要件: データをリアルタイムまたはほぼリアルタイムで処理および分析する必要があるかどうかを判断します。
• データ処理の複雑さ: データ処理および分析タスクの複雑さを分析します。計算を多用するタスクの場合、Amazon EMR などのサービスは、ビッグデータ処理のためにスケーラブルなマネージド環境を提供します。
• 同時実行とユーザー負荷: 同時実行ユーザーの数と、システム上のユーザー負荷のレベルを考慮します。 
• 自動スケーリング機能: 需要に応じてリソースが自動的にスケールアップまたはスケールダウンすることを可能にする、自動スケーリング機能を提供するサービスを検討します。これにより、リソースの効率的な利用とコスト最適化を実現できます。
• 地理的分散: データアーキテクチャを複数の地域またはロケーションに分散する必要がある場合は、グローバルレプリケーションと低レイテンシーのデータアクセスを備えたサービスを検討します。
• コストとパフォーマンスのトレードオフ: パフォーマンスのニーズとコストのバランスを考慮します。高パフォーマンスのサービスは、より高コストである可能性があります。
  
• サービスレベルアグリーメント (SLA): AWS サービスによって提供される SLA で、これらのサービスがスケーラビリティとパフォーマンスの期待レベルを確実に満たしていることを確認します。

データガバナンスは、データアセットの効果的な管理、品質、セキュリティ、コンプライアンスを実現するために実装する必要がある一連のプロセス、ポリシー、コントロールです。考慮すべき重要な決定事項には次が含まれます。

• データ保持ポリシー: 規制要件とビジネスニーズに基づいてデータ保持ポリシーを定義し、不要になったデータを安全に破棄するためのプロセスを確立します。
  
• 監査証跡とログ記録: データのアクセスと利用状況をモニタリングするためのログ記録および監査メカニズムを決定します。コンプライアンスとセキュリティをモニタリングするために、包括的な監査証跡を実装して、データの変更、アクセスの試行、ユーザーのアクティビティを追跡します。
• コンプライアンス要件: 組織に適用される業界ごとの、および地理的なデータコンプライアンス関連規制を理解します。データアーキテクチャがこれらの規制およびガイドラインに確実に準拠しているようにしてください。
• データ分類: 機密性に基づいてデータを分類し、データクラスごとに適切なセキュリティコントロールを定義します。 
  
• ディザスタリカバリと事業継続性: 予期しないイベントやシステム障害が発生した場合のデータの可用性と回復力を確保するために、ディザスタリカバリと事業継続性について計画します。
• サードパーティーのデータ共有: サードパーティーのエンティティとデータを共有する場合は、データの秘密性を保護し、データの悪用を防ぐために、安全なデータ共有プロトコルを実装するとともに、契約を締結します。

分析パイプライン内のデータのセキュリティには、秘密性、完全性、可用性を確保するために、パイプラインのあらゆる段階でデータを保護することが含まれます。考慮すべき重要な決定事項には次が含まれます。

• アクセスコントロールと認可: 堅牢な認証および認可プロトコルを実装して、認可されたユーザーのみが特定のデータリソースにアクセスできるようにします。
• データ暗号化: データベースやデータレイクに保存されているデータ、およびアーキテクチャのさまざまなコンポーネント間でのデータ移動中の適切な暗号化方法を選択します。
• データマスキングと匿名化: 特定の分析プロセスを継続できるようにしながら、PII や機密性の高いビジネスデータなどの機密データを保護するために、データのマスキングまたは匿名化の必要性を検討します。
• 安全なデータ統合: 安全なデータ統合プラクティスを確立して、アーキテクチャのさまざまなコンポーネント間でデータが安全に流れるようにし、データ移動中のデータ漏えいや不正アクセスを回避します。
• ネットワーク分離: リソースがパブリックインターネットに公開されないようにするために、AWS VPC エンドポイントをサポートするサービスを検討します。

分析パイプラインのさまざまなコンポーネント間の統合ポイントとデータフローを定義して、シームレスなデータフローと相互運用性を実現します。考慮すべき重要な決定事項には次が含まれます。

• データソースの統合: データベース、アプリケーション、ファイル、外部 API など、データの収集元となるデータソースを特定します。効率的かつ最小限のレイテンシーでデータをパイプラインに取り込むためのデータインジェスト方法 (バッチ、リアルタイム、イベントベース) を決定します。
• データ変換: 分析用のデータを準備するために必要な変換を決定します。パイプライン内を移動するデータをクリーニング、集約、正規化、またはエンリッチ化するためのツールとプロセスを決定します。
• データ移動アーキテクチャ: パイプラインコンポーネント間のデータ移動に適切なアーキテクチャを選択します。リアルタイム要件とデータ量に基づいて、バッチ処理、ストリーム処理、またはその両方の組み合わせを検討します。
• データのレプリケーションと同期: すべてのコンポーネントにわたってデータを最新の状態に保つために、データのレプリケーションと同期のメカニズムを決定します。データ鮮度に関する要件に応じて、リアルタイムレプリケーションソリューションまたは定期的なデータ同期を検討します。
  
• データの品質と検証: データがパイプライン内を移動する際の完全性を確保するために、データ品質のチェックと検証ステップを実装します。データの検証に失敗したときに実行するアクション (アラートやエラー処理など) を決定します。
• データのセキュリティと暗号化: 転送中および保管中のデータをどのように保護するかを決定します。データの機密性に基づいて必要となるセキュリティのレベルを考慮して、パイプライン全体で機密データを保護するための暗号化方法を決定します。
• スケーラビリティと回復力: データフローが水平方向のスケーラビリティを実現できるように設計されており、増加したデータ量とトラフィックの処理が可能であるようにします。

AWS 上で分析パイプラインを構築すると、さまざまなコスト最適化の機会が得られます。高いコスト効率を実現するには、次の戦略を検討します。

• リソースのサイズ設定と選択: 実際のワークロード要件に基づいてリソースのサイズを適切に設定します。オーバープロビジョニングを回避しながら、ワークロードのパフォーマンスのニーズに一致する AWS サービスとインスタンスタイプを選択します。
• 自動スケーリング: さまざまなワークロードが発生するサービスのために自動スケーリングを実装します。自動スケーリングは、需要に基づいてインスタンスの数を動的に調整し、トラフィックが少ない期間中のコストを削減します。
• スポットインスタンス: 非クリティカルかつフォールトトレラントなワークロードのために AWS EC2 スポットインスタンスを利用します。スポットインスタンスは、オンデマンドインスタンスと比較してコストを大幅に削減できます。
• リザーブドインスタンス: オンデマンド料金と比べて大幅なコスト削減を実現するために、利用量が予測可能な安定したワークロード用の AWS リザーブドインスタンスの購入を検討します。
• データストレージの階層化: データアクセス頻度に基づいてさまざまなストレージクラスを利用して、データストレージのコストを最適化します。
• データライフサイクルポリシー: データライフサイクルポリシーを設定して、データが作成されてから経過した時間と使用パターンに基づいてデータを自動的に移動または削除します。これによってストレージコストの管理を改善でき、データストレージとその価値のバランスを維持できます。