Amazon Redshift との Amazon Aurora ゼロ ETL 統合により、ペタバイト規模のトランザクションデータに対する、Amazon Redshift を利用したほぼリアルタイムの分析と機械学習 (ML) が可能となります。トランザクションデータが Amazon Aurora に書き込まれて数秒以内に、ゼロ ETL は Amazon Redshift でシームレスにデータを利用できるようにし、抽出、変換、ロード (ETL) オペレーションを実行する複雑なデータパイプラインを構築して維持する必要性をなくします。
利点
ほぼリアルタイムのデータアクセス
Amazon Redshift で Aurora のトランザクションデータに数秒でアクセスして、ペタバイト規模のデータでほぼリアルタイムの分析と ML を実行できます。
使いやすい
トランザクションデータを分析システムに移動するための ETL パイプラインを構築して管理する必要なく、トランザクションデータをほぼリアルタイムで迅速に分析できます。
シームレスなデータ統合
さまざまな Aurora データベースクラスターの複数のテーブルを統合し、データを 1 つの Amazon Redshift データウェアハウスにレプリケートして、複数のアプリケーションとデータソースにわたって統合分析を実行します。
インフラストラクチャ管理なし
Amazon Aurora Serverless v2 と Amazon Redshift Serverless の両方を使用すると、インフラストラクチャを管理することなく、トランザクションデータでほぼリアルタイムの分析を実行できます。
ユースケース
ほぼリアルタイムの運用上の分析
Amazon Redshift の分析と ML 機能を使用して、トランザクションデータやその他のデータからほぼリアルタイムでインサイトを引き出し、時間的制約のある重要なイベントに効果的に対応できます。ほぼリアルタイムの分析により、コンテンツターゲティング、最適化されたゲーム体験、データ品質監視、不正検出、顧客行動分析などのユースケースについて、より正確でタイムリーな洞察を得ることができます。
大規模な分析
Amazon Redshift との Aurora ゼロ ETL 統合により、Amazon Redshift の機能を使用して、複数の Aurora データベースクラスターから統合されたペタバイトのトランザクションデータを分析できます。組み込み ML、マテリアライズドビュー、データ共有、複数のデータストアやデータレイクへのフェデレーションアクセスなど、Amazon Redshift の包括的な分析機能を活用できます。Amazon Redshift ML を使用すると、Amazon SageMaker にネイティブに統合されているため、簡単な SQL コマンドで何十億もの予測を実行できます。
運用負担を削減する
トランザクションデータベースから中央データウェアハウスにデータを移動するには、多くの場合、複雑なデータパイプライン ETL ソリューションの構築、保守、運用が必要です。ゼロ ETL 統合により、スキーマ、既存のデータ、データ変更を Aurora データベースから新規または既存の Amazon Redshift クラスターにシームレスに複製できます。ゼロ ETL 統合により、複雑なデータパイプライン管理が不要になります。
開始方法
Aurora と Amazon Redshift 間のゼロ ETL 統合を作成するには、データソースとして Aurora DB クラスターを指定し、ターゲットとして Amazon Redshift データウェアハウスを指定します。統合により、ソースデータベースからターゲットデータウェアハウスにデータが複製されます。データは数秒で Amazon Redshift で利用できるようになり、データアナリストはデータの Amazon Redshift 分析と ML 機能を使い始めることができます。詳細については、Aurora と Amazon Redshift のスタートガイドをご覧ください。
リソース
料金
- 変更データキャプチャを有効にすることで追加の I/O とストレージが使用される
- Amazon Redshift データベースをシードするための初期データエクスポートのスナップショットエクスポートコスト
- レプリケートされたデータを保存するための追加の Amazon Redshift ストレージ
- データレプリケーションを処理するための追加の Amazon Redshift コンピューティング
- ソースからターゲットへのデータ移動にかかる AZ 間のデータ転送コスト。
ゼロ ETL 統合によるデータ変更の継続的な処理は、追加料金なしで利用いただけます。詳しくは、「Aurora の料金ページ」をご覧ください。
お客様
インフォシスの製造、小売、物流の顧客にとって、サプライチェーンの完全性を維持するには、貨物の検証が不可欠です。そのためには、貨物の追跡と貨物分析のために貨物追跡データをリアルタイムで取り込む必要があります。
「インフォシスは、Zero-ETL 機能を活用してリアルタイムでデータを取り込むことで、貨物貨物の追跡が可能になり、場所、ステータス、到着予定時刻を可視化できるようになりました。これにより、運送業務の最適化と大幅なコスト削減が可能になります。ゼロ ETL の包括的なレポーティングと分析、そしてインフォシスの Cobalt と Topaz インダストリーブループリントにより、データ主導の意思決定が可能になりました」。
Sunil Senan 氏、データ、アナリティクス、AI 担当上級副社長兼グローバルヘッド、インフォシス
Intuit は、TurboTax、Credit Karma、QuickBooks、Mailchimp を通じて、1 億人の消費者および中小企業の顧客の繁栄を促進するグローバルな金融テクノロジープラットフォームです。今後の移行が複雑になる中、Intuit 社では 1 日あたり 1,000 万件を超えるプロファイル移行という驚異的な速度を見込んでいました。Intuit は、データインジェストプロセスを合理化し、複雑なエンジニアリング作業の必要性をなくすために、Amazon Aurora MySQL と Amazon Redshift のゼロ ETL 統合を利用しました。
「膨大な量のデータとシームレスな移行の必要性は、私たちにとって大きな課題でした。さらに、移行プロセスを迅速に分析し、データ主導の意思決定を迅速に行えるソリューションが必要でした。これらの課題に対処するために、Amazon Aurora と Amazon Redshift のゼロ ETL 統合を採用しました。これにより、データインジェストのプロセスを合理化し、複雑なエンジニアリング作業が不要になりました。Zero-ETL を使用すれば、データキャプチャや個別の取り込みジョブを必要とせずに、大量のデータを Amazon Redshift に送信できました。これにより、重要な技術的およびビジネス上の意思決定に役立つ迅速な洞察が得られ、そうでなければ何ヶ月もかかっていた労力を節約できました。Aurora と Amazon Redshift のゼロ ETL 統合を利用することで、大規模なデータ移行とほぼリアルタイムの分析のための新しいパターンを Intuit で探求することができました」。
Aruna Ghiware 氏、プロダクト開発マネージャー、Intuit
KINTO テクノロジーズ株式会社は、モビリティプラットフォーム業界のリーディングプレーヤーであり、トヨタの金融サービス企業として KINTO サービスの開発を担当するテクノロジー企業です。Amazon Aurora MySQL zero-ETL Integration with Amazon Redshift を活用することで、KINTO テクノロジーズはより回復力の高いデータパイプラインを実現し、Amazon Redshift の高度な分析機能をほぼリアルタイムで運用データに適用できるようになりました。
「Zero-ETL 統合が利用可能になる前は、コアデータベースからダウンストリームのアプリケーションに変更を継続的にストリーミングするカスタムビルドのソリューションを使用していましたが、パフォーマンス上の課題と本番ワークロードへの影響に常に直面していました。本番環境のワークロードへのパフォーマンス影響に対処するため、更新の送信頻度を減らすようパイプラインを調整する必要があり、直近ではない古いデータを使用しなければなりませんでした。Aurora MySQL zero-ETL Integration with Amazon Redshift を使用することで、Amazon Redshift でいつでもほぼリアルタイムのデータを利用できるようになり、開発者が手動で ETL 運用のデータパイプラインを管理したり、ワークロードのパフォーマンスへの影響に対処したりする必要がなくなり、運用上の負担を軽減できます」。
取締役副社長、景山均氏、KINTO テクノロジーズ株式会社
マネーフォーワード i は、直感的な SaaS 管理プラットフォームである Admina を通じて、反復作業を合理化し、コストを削減し、セキュリティを強化することにより、組織内の IT チームの生産性と創造力を高めるよう努めています。
「Amazon Aurora と Amazon Redshift のゼロ ETL 統合がリリースされる前は、Amazon Redshift で Amazon Aurora MySQL の製品データを分析するための ETL オペレーションの実装とメンテナンスの負担は大変でした。Aurora MySQL を Amazon Redshift とゼロ ETL 統合することで、当社の Aurora MySQL データベースと Amazon Redshift の間でほぼリアルタイムのデータ同期が可能になり、分析環境の構築にかかる時間が 1 か月からわずか 3 時間に短縮されました。開発時の初期負担が軽減されるだけでなく、ゼロ ETL 統合により本番環境への影響が少なく、最小限のコストと最大速度で分析環境を構築できます」。
取締役兼最高執行責任者、村上勝俊氏、マネーフォワード i
Woolworths は、イノベーション、価値、持続可能性に重点を置いて、高品質の衣料品、雑貨、食品を幅広く提供するサハラ以南アフリカの大手小売業者です。
「データからタイムリーな洞察を引き出すことは非常に重要です。そうすれば、ビジネス全体でデータ主導の意思決定を迅速に推進し、重要で時間に敏感なイベントに効果的に対応できるようになるからです。変更データのキャプチャと記録の凝集には時間がかかり、処理に予想以上にコストがかかりました。Amazon Aurora MySQLと Amazon Redshift のゼロ ETL 統合を使用することで、ETL オペレーションに必要なエンジニアリングの労力により、通常であれば開発に 2 ヶ月かかるところを、1 日で同じ結果を出すことができました。データをクエリできる状態になったため、インテグレーションを使用することでデータレイテンシが大幅に削減されました。これにより、イベントが発生したときに迅速に意思決定を行うことができました。Amazon Redshift と Aurora のゼロ ETL 統合により、エンジニアリングの労力を軽減し、パイプライン管理における障害点を減らし、コストを削減しました」。
Raamy Schroeder 氏、ビジネスインテリジェンスリーダー、Woolworths
Aurora の主な特徴をご覧ください