Amazon Web Services ブログ

AWS を活用した公共部門向けデータ配信

本記事は 2025 年 1 月 31 日に AWS Public Sector Blog で公開された Data dissemination for public sector on AWS を翻訳したものです。翻訳はソリューションアーキテクトの川戸渉が担当しました。

組織が情報に基づいた意思決定を行い、イノベーションを促進するためには、データの共有が不可欠です。 アマゾン ウェブ サービス (AWS) は、大規模なデータを安全に配信するためのさまざまなツールとサービスを提供しています。 公共の利益のためにオープンデータの公開、ビジネス目的でのプライベートデータセットの収益化、さらには社内での協業などの用途で、AWS は必要なインフラストラクチャとサポートを提供します。 AWS のクラウドサービスを活用することで、組織はチームや AWS パートナー、ユーザーとの安全なデータ共有が可能になり、価値のある洞察を得て成長につなげることができます。 AWS のデータ共有機能は、単なる要件の充足にとどまらず、今日のデータ駆動型環境における戦略的優位性の確保を実現します。

Open Data on AWS

データ共有の利点が広く認識されるようになり、オープンデータの取り組みへの注目が高まっています。 AWS は、 Open Data on AWS プログラムを通じてこの動きをサポートしています。 Registry of Open Data on AWS では、幅広いデータセットが保管・公開されており、 AWS オープンデータスポンサーシッププログラムを活用することでストレージコストを抑えることもできます。

Registry of Open Data on AWS には、行政データ、科学研究、ライフサイエンス、気候、衛星画像、地理空間情報、ゲノムデータなど、さまざまなオープンデータセットが登録されています。

Open Data on AWS は、Registry of Open Data on AWS を通じてコラボレーションとイノベーションを促進しています。データプロバイダーは AWS の信頼性の高い安全なインフラストラクチャを使用してデータセットを公開でき、研究者や開発者は、データをダウンロードや保存することなく、価値あるデータに簡単にアクセスして分析やアプリケーション開発に活用できます。AWS オープンデータスポンサーシッププログラムにより、価値の高いデータセットを公開する際のストレージ費用を AWS が負担します。また、データプロバイダーと利用者の双方が、データセットに関連するノートブックや分析結果、引用文献などの情報をレジストリページで共有できます。

Open Data on AWS の利点:

  1. グローバルな影響力: Open Data on AWS では、世界中のユーザーがデータセットにアクセスでき、グローバルな協業と発展が可能になります。
  2. 成長とイノベーションの加速: AWS にデータを保存することで、各種 AWS サービスを使用した迅速なデータ処理・分析が可能になります。これにより、データから洞察を得ることができます。 コンピューティング、分析、機械学習など、 AWS の幅広いサービスを活用することで、クラウド上で効率的かつ大規模なデータ分析を実現できます。

AWS Data Exchange

AWS Data Exchange は、AWS 上でサードパーティのデータを簡単に検索、購読、利用できるサービスです。 認定データプロバイダーのデータ製品カタログを提供しており、組織はサードパーティデータのライセンス取得、取り込み、管理といった一般的な課題に悩まされることなく、必要なデータに素早くアクセスできます。 AWS Data Exchange は、データ製品の発見から購読、配信までを一貫して提供する完全なエンドツーエンドサービスです。Open Data on AWS からのデータセットを含むさまざまなデータセットのインポートが可能で、購読データアクセス権限の管理を効率的に行えます。また、データプロバイダーが AWS Marketplace でデータ製品を公開して収益化するためのプラットフォームも提供します。 この統合的なアプローチにより、調達から収益化までのデータ取引の全プロセスが AWS エコシステム内で効率化されます。

AWS Data Exchange を利用する最大の利点の一つが、配信の効率化です。 データプロバイダーは他のデータカタログと同様に、自社のデータ製品を容易に公開できます。プロバイダーはデータを掲載・販売でき、利用者はこれらのデータセットを自社のアプリケーションやワークフローで検索、購読、使用できます。 AWS マネジメントコンソールや API を通じて必要な製品を購読でき、個別のライセンス契約や複雑なデータ転送プロセスの管理が不要となるため、データ共有が効率化されます。

AWS Data Exchange は AWS の規模とセキュリティを活用することで、信頼性が高く一貫性のあるデータ配信を実現しています。 AWS 経由の直接配信により、高い可用性と耐久性が確保され、 AWS の包括的なセキュリティ管理とコンプライアンス認証の恩恵も受けられます。これにより、プロバイダーは知的財産を安全に保護でき、利用者は受け取ったデータの真正性と最新性を確認できます。

AWS Data Exchange はデータの売買をより円滑にします。 標準化された従量課金制の料金モデルにより、利用者は必要なデータを容易に購入・使用できます。これにより、価値あるデータへのアクセスが容易になり、あらゆる規模の組織がサードパーティデータを自社のアプリケーションや分析に活用できるようになります。結果として、イノベーションの促進とビジネス価値の向上につながります。

AWS Data Exchange の利点:

  1. 豊富なデータコレクション: 世界中の 300 以上のプロバイダーによる 3,500 以上のデータセットにアクセスできる一元化されたデータリポジトリを提供します。
  2. データ収集の効率化: データ収集プロセスを一元化し、迅速化します。 単一の API で複数のプロバイダーからのデータ取り込みを一元管理できます。
  3. AWS サービスとのネイティブ統合: AWS の分析サービスや 機械学習モデルとシームレスに連携し、データからの迅速な洞察の抽出を可能にします。 また、AWS の認証とガバナンスもサポートしています。

Storage Browser for Amazon S3

AWS は、Storage Browser for Amazon S3 の一般提供を 2024 年 12 月 1 日に開始しました。この機能により、開発者はカスタマイズ可能なファイルブラウザをアプリケーションに直接組み込むことができ、個人ファイルの管理や小規模な共同作業が必要なケースで特に威力を発揮します。 オープンデータポータルや研究プラットフォームと統合できるため、Amazon Simple Storage Service (Amazon S3) バケットに保存された大規模なオープンデータセットへの簡単なアクセスが可能になります。例えば、科学系の研究機関では研究データの共有に活用でき、データセット全体をダウンロードすることなく、他の研究者が価値ある情報への閲覧やアクセスが可能になります。 これにより、オープンサイエンスとグローバルな研究協力が促進されます。 このツールを使用することで、ユーザーはアプリケーション環境を離れることなく、Amazon S3 バケット内のデータへのシームレスなアクセス、表示、操作が可能になります。

Storage Browser for Amazon S3 は一般的なファイル操作をサポートし、アプリケーションのブランディングに合わせたカスタマイズが可能なため、ビジネス用途から一般消費者向けまで幅広いアプリケーションに対応できます。 Amazon S3 データアクセスをアプリケーションに直接統合することで、ユーザー体験と生産性が大幅に向上し、Amazon S3 保存ファイルの管理のために別の管理画面を行き来する必要もなくなります。 この機能により、アプリケーションワークフロー内でのクラウドストレージの利便性が向上します。今日から、Storage Browser for Amazon S3 をはじめてみましょう

Storage Browser for Amazon S3 の利点:

  • アプリケーションとの統合: アプリケーションに直接組み込みが可能で、直感的なユーザー体験を提供します。
  • データ移動の削減: Amazon S3 のデータへの直接アクセスにより、大規模データセットのコピーや移動が不要になります。データセット全体のコピーやダウンロードを必要とする従来の方式と比べ、はるかに効率的です。
  • リアルタイムアクセス: アプリケーション内で Amazon S3 データのリアルタイムな閲覧、検索、操作が可能です。データ転送のリクエストと待機が必要な他の方法と比べ、より迅速な作業が可能です。

Build-your-own (BYO) Lens on AWS

独自ソリューションである Build-Your-Own (BYO) Lens on AWS を活用することで、組織独自の視点でデータを解析できる仕組みを構築できます。カスタマイズされた基盤を開発することで、チーム間のスムーズなデータ共有が可能になります。組織の専門知識、経験、対象分野への理解を活かすことで、より深い洞察を得ることができます。BYO Lens on AWS は組織固有のニーズ、優先事項、意思決定プロセスに合わせてカスタマイズでき、得られた洞察を迅速に実行に移せます。

BYO Lens on AWS は、データの準備、分析、可視化という3つの基本ステップで構成されています。 AWS の各種サービスを活用することで、これらの基本ステップを容易に実装できます。 Amazon QuickSightAWS GlueAmazon AthenaAWS Lambda などのサービスにより、特定のニーズに合わせたデータを加工が可能です。また、 Amazon S3 などのデータストレージ特化型サービスにより、複数のデータソースを統合できます。 AWS のサービスはスケーラブルに設計されているため、BYO Lens on AWS のワークフローで大量のデータを処理できます。 BYO Lens on AWS のワークフローは高度なセキュリティを備えており、カスタムデータ配信レンズで生成されたデータや得られた洞察の機密性、完全性、可用性を確保します。

これらの AWS サービスは、共通データワークフローの中で次のように組み合わせて使用できます。

  • データ取り込み: データ配信側でユーザーが情報を要求する際に連携して機能します。さまざまなカスタムデータソースを生データとして Amazon S3 に格納し、Amazon S3 イベント通知Amazon EventBridge で自動的にアプリケーションに送信できます。処理用の計算アプリケーションに生データが送信されると、データ変換が開始されます。
  • データ配信とセキュリティ: ユーザーは Amazon Route 53 で管理されているドメインにアクセスし、 Amazon CloudFront / Amazon S3 によりコンテンツが配信されます。 カスタム BYO Lens on AWS は AWS WAF により、クロスサイトスクリプティング、SQL インジェクション、その他の一般的な攻撃から保護されます。
  • データ配信: コンテンツから呼び出された API リクエストは Amazon API Gateway に送られ、Amazon Cognito が発行したトークンを使用してリクエストの認可が行われます。 認可が成功すると、AWS Lambda はこれらの API リクエストの実行と応答を管理し、データの配信、変換、取り込みのワークフローをシームレスにつなぎます。
  • データ変換: ETL (抽出・変換・ロード) 処理には AWS Glue を活用し、処理後のデータは Amazon S3 に格納されます。 この ETL 処理の過程で、AWS Glue Data Catalog によってデータカタログが自動生成されます。ユーザーからのリクエストを受けた際は、 AWS Lambda を介して Amazon Athena が起動され、データカタログを参照しながら Amazon S3 上のデータに対して SQL クエリを実行します。クエリの実行結果は、 AWS Lambda、 Amazon API Gateway、 Amazon CloudFront という一連の流れを通じてユーザー側に戻されます。

BYO Lens の利点:

  • 完全なコントロール: システムアーキテクチャ、データソース、データ変換、配信ワークフローを完全にコントロールできます。これにより、既存システムとの連携やユーザー体験のカスタマイズが可能となります。
  • AWS サービス選択の柔軟性: マネージドサービスに縛られることなく、要件に最適な AWS サービスを自由に選択できます。
  • セキュリティ/データガバナンス: 独自の基盤構築により、データガバナンス、アクセスポリシー、セキュリティ対策をきめ細かく管理できます。また、組織内の各チームに対して、アーキテクチャ内の特定サービスへのアクセス権限をより詳細なレベルで設定できます。
  • カスタマイズ: 組織のビジュアルアイデンティティとユーザーニーズに沿った、独自のユーザー体験、ブランディング、インターフェースを実現できます。これにより、より統一感のあるブランド体験を提供できます。さらに、 AWS 環境内の既存のデータパイプライン、分析ツール、その他のビジネスシステムとのデータ連携を円滑に行い、効率的なサービスエコシステムを構築できます。

図 1. BYO Lens on AWS におけるデータ配信の一般的なデータワークフロー。 主要なコンポーネントには Amazon Route 53、Amazon CloudFront、Amazon S3、Amazon API Gateway、AWS Lambda、Amazon Cognito、Amazon DynamoDB、Amazon Athena、AWS Glue、Amazon Elastic Kubernetes Service (Amazon EKS)、Amazon Elastic Container Service (Amazon ECS)、Amazon EventBridge が含まれています。

まとめ

AWS は、Open Data on AWS、AWS Data Exchange、Storage Browser for Amazon S3、Build-your-own (BYO) Lens on AWS など、データ配信のための包括的なツールとサービスを提供しています。 これらのソリューションにより、公開データセットから商用データ製品まで、さまざまなデータ共有のニーズに対応でき、組織は大規模なデータを安全かつ効率的に配信することができます。 Open Data on AWS はオープンデータの取り組みを支援し、AWS Data Exchange はサードパーティのデータ製品の発見と利用を促進します。 Storage Browser for Amazon S3 はアプリケーションへのファイルブラウザの組み込みを可能にし、BYO Lens on AWS はカスタマイズ可能なデータ解析基盤を提供します。これらはいずれも、AWS の強固なインフラストラクチャとセキュリティ機能を活用しています。

その他の参考資料


著者について

Austin Park は、連邦文民機関を支援するアマゾン ウェブ サービス (AWS) のソリューションアーキテクトです。 ストレージを専門としており、AWS のツールを使ってシンプルなプロセスを効率化し、お客様が可能性を最大限に引き出せるようにすることに情熱を注いでいます。

Raaga N.G は、連邦文民機関を支援するアマゾン ウェブ サービス (AWS) のソリューションアーキテクトです。 アナリティクスを専門としており、複雑な問題を解決し、顧客が目標を達成できるよう支援することに情熱を注いでいます。

Rayette Toles-Abdullah は、アマゾン ウェブ サービス (AWS) の連邦文民機関を支援するプリンシパルソリューションアーキテクトです。 デジタルトランスフォーメーション、企業戦略、システムインテグレーション、クラウド運用、ガバナンス、アプリケーションモダナイゼーションを専門としています。