Amazon Redshift のレイクハウスアーキテクチャ

オープンファイル形式のすべてのデータをクエリします。データをロードする必要はありません。

IoT、スマートデバイス、クラウドアプリケーション、ソーシャルによって生成されるデータの量は急増しています。このため、データの形式や保存場所に関係なく、最小限の時間でインサイトを得て、このようなすべてのデータを簡単かつコスト効率の高い方法で分析する必要があります。

Amazon Redshift では、データウェアハウス、データレイク、運用データベース全体でデータをクエリし、他の方法では難しいより迅速かつ深いインサイトの取得が可能なため、レイクハウスアーキテクチャを強化できます。レイクハウスアーキテクチャを使用すると、Amazon S3 データレイクにオープンファイル形式でデータを保存できます。Amazon Redshift により、こうしたデータを新しいサイロに閉じ込めるのではなく、他の分析ツールや機械学習ツールで簡単に利用できるようになります。

Amazon Redshift のレイクハウスアーキテクチャを使用すると、次のことが可能になります。

  • データレイク内のデータに簡単にクエリを実行し、オープンフォーマットでデータをデータレイクに書き戻します。
  • 使い慣れた SQL ステートメントを使用して、すべてのデータストアでデータを結合および処理します。
  • データのロードや ETL パイプラインを必要とせずに、運用データベース内のライブデータに対してクエリを実行します。

2019 re:Invent 基調講演: Amazon Redshift のレイクハウスアーキテクチャ (1:23)

特長

Amazon Redshift のレイクハウスアーキテクチャには次の機能が搭載されています。

Amazon Redshift Spectrum

Amazon S3 データレイクにあるオープン形式のデータを直接クエリします。データのロードやインフラストラクチャの複製は不要です。Amazon Redshift Spectrum の機能を使用して、Apache Parquet、ORC、JSON、Avro、CSV などのオープンファイル形式をクエリできます。使用を開始するには、こちらのステップバイステップチュートリアルをご確認ください。

データレイクのエクスポート

Amazon Redshift のクエリ結果を、データレイクのエクスポート機能を使用して直接 S3 データレイクにオープンファイル形式で保存します。その後、Amazon Redshift Spectrum 機能や、Sagemaker (機械学習)、EMR (ETL オペレーション) など他の AWS のサービスを使用して、このデータを分析できます。使用を開始するには、こちらの 5 分の動画をご覧ください。

横串検索

横串検索で、Amazon Redshift で Amazon RDS や Aurora PostgreSQL に保存されているデータを直接クエリできます。これにより、ETL 操作を行わずに、タイムリーに最新の運用データをレポートや BI アプリケーションに組み込むことができます。使用を開始するには、こちらの 5 分の動画、またはこちらのチュートリアル をご覧ください。

Warner Bros
「AWS や他社の分析ツールを数多く利用していますが、嬉しいことに Amazon Redshift は、当社独自のソリューションで行ってきたのと同じくらい多様なデータ変換パターンを継続して備えています。2017 年以来 Redshift Spectrum を使って、データレイク全体でオープンデータ形式をクエリする Amazon Redshift の性能を活用しています。新しい Redshift のデータレイクエクスポート機能を使用すれば、データレイクにデータを書き戻すことができるようになったのも便利です。このような運用で、クエリの負荷が一番高いときでも、パフォーマンスは安定した速さを保てています。統合されたビッグデータスタックのシナジーを活用して、Amazon Redshift クラスター間でデータ共有をさらに促進し、当社のゲームすべてにおいてより大きな価値をより低いコストで引き出せるようにしたいと考えています」。

Warner Bros. Analytics、マーケティング運用分析テクニカルディレクター、Kurt Larson 氏

リソース

ブログ

ETL and ELT design patterns for lake house architecture using Amazon Redshift: Part 1

Amazon Redshift を使用して、レイクハウスアーキテクチャ向けのスケーラブルな ETL および ELT 設計パターンを構築する: パート 1。

ブログを読む »
チュートリアル

Getting started with Amazon Redshift Spectrum

Amazon Redshift Spectrum の使用を開始するための、ステップバイステップのチュートリアル。

チュートリアルを開始する »
お客様事例

How to scale data analytics with Amazon Redshift

エンターテインメント企業である Warner Bros が、Amazon Redshift を使用して、どのようにデータ分析ワークロードをスケールしているかをご覧ください。

動画を視聴する »
AWS アカウントにサインアップする
AWS アカウントにサインアップする

AWS アカウントにサインアップすれば、AWS 無料利用枠にすぐにアクセスすることができます。

アカウントの作成 
AWS 無料利用枠
AWS 無料利用枠

AWS のプラットフォーム、製品、サービスを無料で実際にお使いいただけます。

詳細 
データベースを移行する
データベースを移行する

AWS Database Migration Service でお使いのデータベースを迅速かつ安全に移行します。

その他