AWS とのデータ統合

データは、サードパーティがホストするアプリケーション、オンプレミスのデータストア、運用データストアなど、さまざまな形式のさまざまなソースから取得されます。AWS のサービスは、サードパーティのサービスとしてのソフトウェア (SaaS)、オンプレミス、その他のクラウドを含む何百ものデータソースに接続します。データをデータレイク、ウェアハウス、データベースに接続または移動すると、組織全体で安全に利用できるようになります。

AWS Glue は、多くの AWS データ統合サービスの1つであり、データ検出、抽出、変換、ロード (ETL)、クレンジング、変換、一元化されたカタログ作成などの主要なデータ統合機能を 1 か所に統合します。サーバーレスで、必要に応じて自動的にワーカーをプロビジョニングおよび管理できます。

AWS には、データエンジニア、ETL デベロッパー、ビジネスアナリストのニーズを満たすツールが用意されており、あらゆる技術レベルのユーザーがインタラクティブにデータを探索して操作できるよう支援しています。AWS Glue Studio のドラッグアンドドロップインターフェイスでデータを視覚的に変換したり、データ準備ツールの AWS Glue DataBrew でデータをクリーニングして正規化したり、お好みの統合開発環境 (IDE) またはノートブックを使用してデータをテストしたりできます。

多くの場合、組織は ETL、リバース ETL、抽出、読み込み、変換 (ELT) などのさまざまなデータ処理フレームワークだけでなく、バッチ、マイクロバッチ、ストリーミングなどのさまざまなワークロードをサポートする必要があります。AWS はすべてのフレームワークとワークロードを柔軟にサポートし、オープンソース標準を活用することでポータビリティを実現しています。

AWS では、保存されている場所ならどこからでもデータにアクセスして統合できるため、データ統合チームはデータの価値を最大化する価値の高い活動に集中できます。

AWS Glue はあらゆる規模ですべてのデータを容易に検出、準備、統合できます。AWS Database Migration Service は、データベースと分析のワークロードを迅速かつ安全に、ダウンタイムを最小限に抑え、データ損失なしで AWS に移行するのに役立ちます。Apache Airflow 向け Amazon マネージドワークフロー (MWAA) は、Apache Airflow 向けの安全で可用性の高いマネージドワークフローオーケストレーションを提供します。AWS Data Exchange は、300 以上のデータプロバイダーと 3,500 以上のデータ製品からのサードパーティデータと接続します。

データを変換したり、データを正規化したり、未加工データストアからデータを取り込む前にデータ品質をチェックしたり、テーブルの列、行、データサイズを縮小したりする必要がある複雑なユースケースでは、AWS Glue を使用するとデータの準備と統合が容易になります。

ETL が定期的に繰り返される一般的なユースケースでは、AWS ゼロ ETL 機能を使用できます。これにより、ETL パイプラインを構築および管理する必要がなくなります。AWS ゼロ ETL 機能を使用すると、Apache Kafka 向けの Amazon マネージドストリーミングから Amazon Redshift にストリーミングデータを直接取り込んだり、Amazon Redshift を使用して Amazon Aurora データをほぼリアルタイムで分析したりできます。

データを操作する技術的能力は企業全体でさまざまであり、適切なツールがないと操作できない場合があります。

AWS は、デベロッパーからビジネスユーザーまで、すべてのユーザータイプにスキル固有のインターフェイスとジョブ作成ツールを提供しています。AWS Glue Studio は ETL コードを自動的に生成し、ETL デベロッパーやビジネスアナリストがコードなしのインターフェイスでデータを変換できるようにします。AWS Glue では、デベロッパーやエンジニアが好みの IDE、ノートブック、処理エンジンを使用することもできます。Apache Airflow 向け Amazon マネージドワークフローにより、科学者やエンジニアはエンドツーエンドのデータパイプラインを調整できます。

AWS は、ロックインなしでさまざまなワークロードをサポートします。

AWS Glue Studio を使用すると、Apache Spark の専門家でなくても拡張性が高い ETL ジョブを作成し、構造化データと非構造化データをデータウェアハウスやデータレイクにロードできます。Apache Kafka (MSK) と Amazon Kinesis 向けの Amazon マネージドストリーミングにより、ストリーミングデータをリアルタイムで簡単に取り込んで処理できます。その他の一般的なワークロードには、バッチデータ変換、データベースレプリケーション、SaaS からのデータインジェクト、チーム間のデータ共有、サードパーティデータへのサブスクリプションなどがあります。