Amazon Web Services ブログ

Category: Database

AWS CloudFormation で Amazon Redshift 横串検索の採用を加速する

Amazon Redshift 横串検索を使用すると、1 つ以上の Amazon RDS for PostgreSQL および Amazon Aurora PostgreSQL データベースのデータを、Amazon Redshift にすでにあるデータと組み合わせることができます。このようなデータを Amazon S3 データレイクのデータと組み合わせることもできます。 この記事では、10 GB の TPC-H データセットを使用して Aurora PostgreSQL と Amazon Redshift をセットアップし、さらに AWS CloudFormation を使用して Amazon Redshift 横串検索を行う方法を示します。横串検索の使用の詳細については、「Redshift 横串検索を使用して、簡略化された ETL およびライブデータクエリソリューションを構築する」を参照してください。この記事で設定した環境を使用して、前の記事のさまざまなユースケースを試すことができます。 CloudFormation テンプレートを使用する利点 Amazon Redshift 横串検索を設定する標準的なワークフローには、6 つのステップが含まれます。詳細については、「Amazon Redshift 横串検索によるデータのクエリ」を参照してください。CloudFormation テンプレートを使用すると、これらの手動の手順をテキストファイルに記載されているいくつかの手順に要約できます。ファイル内の宣言コードは、作成するリソースの意図した状態をキャプチャし、Amazon Redshift 横串検索をサポートする AWS リソースの作成を自動化できます。このテンプレートをさらに拡張して、インフラストラクチャの唯一の信頼できる情報源にすることができます。 CloudFormation テンプレートはアクセラレータとして機能します。このテンプレートで、複数のリージョンと複数のアカウントにまたがり、最小限の労力と時間で、安全で繰り返し可能な方法でテクノロジーとインフラストラクチャのデプロイを自動化できるようになります。 アーキテクチャの概要 次の図は、ソリューションのアーキテクチャを示しています。 […]

Read More

Redshift 横串検索を使用して、簡略化された ETL およびライブデータクエリソリューションを構築する

最高の ETL は、ETL を行わないことだという話を聞いたことがあるかもしれません。Amazon Redshift は、横串検索でこれを可能にしました。最初のリリースでは、この機能により、Amazon Redshift 外部スキーマを使用して、Amazon Aurora PostgreSQL または Amazon RDS for PostgreSQL でデータをクエリできます。横串検索は、システムビューとドライバー API を通じてソースデータベースからメタデータも公開します。これにより、Tableau や Amazon Quicksight などのビジネスインテリジェンスツールがローカルコピーを作成しなくても、Amazon Redshift に接続して PostgreSQL のデータにクエリを実行できます。これにより、新しいデータウェアハウスパターン (ライブデータクエリ) が可能になります。これにより、PostgreSQL データベースからデータをシームレスに取得したり、遅延バインディングビューにデータを構築したりできます。遅延バインディングビューでは、運用中の PostgreSQL データ、分析的な Amazon Redshift ローカルデータ、および Amazon S3 データレイク内の過去の Amazon Redshift Spectrum データを組み合わせます。 簡略化された ETL のユースケース この ETL のユースケースでは、横串検索を使用して、おなじみの upsert パターンを簡略化できます。ソースデータベース内のデータをクエリすることにより、Amazon S3 での増分抽出の必要性と、COPY を介したその後のロードのバイパスを回避できます。この変更は、COPY コマンドを外部テーブルへのクエリに置き換える 1 行のコードにすることができます。次のコードを参照してください。 […]

Read More

Amazon RDS for SQL Server で Microsoft SQL Server Analysis Services を設定する

Amazon RDS for SQL Server の表形式モデルで Microsoft SQL Server Analysis Services (SSAS) を設定できるようになりました。SSAS は、2016 年または 2017 年の SQL Server メジャーバージョンを使用して、Standard エディションと Enterprise エディションのどちらのシングル AZ 設定でも動作します。 SSAS を Amazon EC2 で実行する場合、SSAS を Amazon RDS for SQL Server で直接サポートし、それらのワークロードを統合して SQL Server データベースと同じ RDS DB インスタンスで実行することで、コストを節約できます。ただし、統合する場合は、パフォーマンスへの影響を考慮する必要があります。 オンライン分析処理 (OLAP) ソリューションは、オンザフライ処理の量を最小限に抑えることで、データウェアハウスやその他のリレーショナルデータベースを強化し、高速で効果的な分析とレポートを行えます。これは主に、分析を実行する前に、ディメンションと階層の幅広い組み合わせを前処理して保存することで実現しています。 SSAS は、エンタープライズレベルの OLAP ソリューションを開発するための Microsoft のビジネスインテリジェンスツールです。SSAS は、最適化された分析クエリと計算に加えて、Excel、Power BI、SQL Server […]

Read More

SYSDATE 関数を Oracle から PostgreSQL に変換する

AWS クラウドで Oracle から PostgreSQL に移行するプロセスは何段階もあって複雑になりがちです。評価ステージから切り替えステージまで、さまざまなテクノロジーとスキルが必要になります。移行プロセスの詳細については、「データベースの移行 — 開始する前に知っておくべきこと」、「移行プロセスとインフラストラクチャの考慮事項」、「ソースデータベースの考慮事項」と「PostgreSQL 環境でのターゲットデータベースの考慮事項」を参照してください。 Oracle から Amazon RDS または Amazon Aurora PostgreSQL に移行する際に最もよくある問題の 1 つが、SYSDATE 関数にまつわる問題です。SYSDATE は、アプリケーションまたはストアドプロシージャとトリガーで最も一般的に使用される日付/時刻関数です。creation_date、last_updated_date、approved_date のような列を持つテーブルは、列のデフォルト値を SYSDATE にすることにより、または、列の値を挿入または更新するトリガーを SYSDATE として定義することにより、SYSDATE 値として更新されます。 この記事は、PostgreSQL データベースの Oracle SYSDATE 関数の代替案を示します。 Oracle および PostgreSQL の日付/時刻関数を評価する際に考慮すべき 3 つの異なる側面があります。それは、次の側面です。 ステートメントレベルまたはトランザクションレベルの時刻 時刻関数におけるクライアント側設定の影響 夏時間 (DST) に関する考慮事項 PostgreSQL 日付/時刻関数の概要 PostgreSQL には、現在の日時に関連する値を返す関数がいくつか用意されています。これらの関数の一部は SQL 標準であり、その他は非 SQL 標準関数です。 サポートされる SQL 標準関数 […]

Read More

Amazon CloudWatch メトリクスを使用して Amazon RDS についてより適切な意思決定を行う

Amazon Relational Database Service (RDS) を使用している場合、インスタンス設定を変更するのに最適なタイミングを判断する方法について悩んでいるかもしれません。これには、インスタンスクラス、ストレージサイズ、ストレージタイプなどの設定の決定が含まれる場合があります。Amazon RDS は、MySQL、PostgreSQL、SQL Server、Oracle、Amazon Aurora などのさまざまなデータベースエンジンをサポートしています。Amazon CloudWatch は、これらすべてのエンジンをモニタリングできます。CloudWatch メトリクスは、最適なインスタンスクラスを選択するためのガイドとなるだけでなく、適切なストレージサイズとタイプを選択するのにも役立ちます。この記事では、CloudWatch メトリクスを使用して、データベースのパフォーマンスを最適化するために Amazon RDS の変更をどう判断したらよいかを説明します。 CPU とメモリの消費 Amazon RDS では、CPUUtilization、CPUCreditUsage と CPUCreditBalance の CloudWatch メトリクスを使用して CPU をモニタリングできます。すべての Amazon RDS インスタンスタイプは、CPUUtilization をサポートしています。CPUCreditUsage と CPUCreditBalance は、バースト可能な汎用パフォーマンスインスタンスにのみ適用できます。 CPUCreditUsage は、インスタンスが CPU の使用に費やした CPU クレジットの数として定義されます。CPU クレジットは、バースト可能なパフォーマンスインスタンスのベースラインレベルを超えてバーストする機能を管理します。CPU クレジットは、100% の使用率で 1 分間実行されるフル CPU コアのパフォーマンスを提供します。CPUUtilization は、インスタンスでの CPU の使用率を示します。CPU 消費量の不規則な急上昇でデータベースのパフォーマンスが低下することはないかもしれませんが、CPU が高い状態が継続すると、その後のデータベースリクエストを妨げることがあります。データベース全体のワークロードに応じて、Amazon […]

Read More

2019 年にリリースされた Amazon RDS および Aurora 機能のまとめ

Amazon Relational Database Service (Amazon RDS) で、クラウド内でのリレーショナルデータベースのセットアップ、運用、およびスケーリングが簡単になります。費用効果が高く、容量のサイズ変更も可能です。同時に、ハードウェアのプロビジョニング、データベースのセットアップ、パッチの適用、バックアップといった時間を費やす管理作業を自動化します。そのため、お客様はアプリケーションの開発に集中でき、アプリケーションが必要とする高速な性能、高可用性、セキュリティ、さらに互換性の実現に取り組むことができます。 セルフマネージドデータベースをマネージドデータベースサービスに移行することは新しいスタンダードで、当社は Amazon RDS に矢継ぎ早に機能を追加し続けています。2019 年は忙しい年でした。そこで、さまざまなデータベースエンジンにかけて導入された機能をまとめてみましょう。 Amazon RDS は、10 年以上前の 2009 年 10 月に初めてリリースされました。 Amazon RDS for MySQL からすべてが始まりました。それ以来、合計 7 つのデータベースエンジンオプションに対応するまでになりました。その 7 つとは、Amazon Aurora MySQL、Amazon Aurora PostgreSQL、PostgreSQL、MySQL、MariaDB、Oracle Database、および Microsoft SQL Server です。 2019 年に、Amazon RDS と Aurora データベースエンジン全体で 100 を超える機能をリリースしました。過去の記事をおさらいしたい方は、2018 年のまとめと 2017 年のまとめをご覧ください。まず、データベースの戦略と運用に最大の影響を与えると考えられる、各データベースエンジンと主要なリリースについて説明します。次に、2019 年にリリースしたすべての機能を便宜上分類して以下に列記します。 新しいインスタンスタイプ、リージョン、バージョン – さまざまなデータベースデプロイオプションを提供 管理性 – […]

Read More

Amazon Redshift の速度とスケーラビリティの向上

2012 年に Amazon Redshift がリリースされて以来、その焦点は常に、可能な限り最高のパフォーマンスを、大規模に、そして可能な限り低コストで提供することでした。世界中のほとんどの組織にとって、データウェアハウスに送信されるデータの量は指数関数的に増加しており、そのデータから洞察を得たいと考えている人の数は日に日に増えています。このため、Amazon Redshift は、増え続けるデータを処理し、洞察に対する需要に応えるために継続的に革新を続けています。 Amazon Redshift は、最も要求の厳しいワークロードに対して、大規模な高速パフォーマンスを提供します。そこにたどり着くのは簡単ではありませんでした。これを実現するには、さまざまな技術的な重点領域にわたって一貫した投資が必要です。この記事では、世界最速のクラウドデータウェアハウスを構築するために何が必要だったかを詳しく説明します。

Read More

オンプレミスの VMware 環境での Amazon RDS マネージド型データベースの使用開始

Amazon RDS on VMware は、数十万の顧客が利用している Amazon RDS テクノロジーを使用して、AWS Relational Database Service (RDS) のマネージド型データベース体験をオンプレミスの VMware 環境に拡張します。 この記事では、VMware 管理者とデータベース管理者が RDS on VMware 環境にデプロイする方法を説明します。オンプレミスの vSphere クラスターを RDS on VMware デプロイ用に準備する方法と、RDS on VMware をクラスターにオンボードする方法について説明します。 RDS on VMware アーキテクチャ RDS on VMware は、VMware vSphere 環境のソフトウェアアプライアンスで RDS コネクタを使用します。RDS コネクタを使用すると、AWS リージョンからの専用仮想プライベートネットワーク (VPN) トンネルを介してオンプレミスのリレーショナル DB インスタンスを管理できます。これにより、Amazon RDS のコントロールプレーンがリージョンの AWS クラウドに留まることができます。 Amazon RDS は、セットアップ中に […]

Read More

Amazon RDS for SQL Server でリージョン内リードレプリカを使用する

Amazon RDS for SQL Server は、リージョン内のリードレプリカをサポートするようになりました。これにより、読み取りワークロードをプライマリデータベースインスタンスからレプリカにオフロードできます。リードレプリカは内蔵の分散型可用性グループ機能を使用しており、Enterprise Edition でご利用いただけます。分散型可用性グループは、2 つの別個の可用性グループにまたがる可用性グループです。分散型可用性グループのメンバーは、それ自体が可用性グループです。Amazon RDS は、このアーキテクチャに、ドメインに依存しない Windows Server Failover Cluster (WSFC) を使用します。この記事では、リードレプリカのアーキテクチャ、リードレプリカの作成方法、およびそれをモニタリングする方法について説明します。 リードレプリカは、SQL Server 2016 Service Pack 2 Cumulative Update 3 (13.00.5216.0.v1) 以降のマルチ AZ 設定の Enterprise Edition でサポートされています。 リードレプリカのマルチ AZ 設定 リードレプリカのマルチ AZ 設定では、プライマリ DB インスタンスでコミットされたトランザクションは、高可用性を目的として同期的にセカンダリレプリカにレプリケートされ、読み取りのスケールアウトのためにリードレプリカに非同期的に送信されます。リードレプリカには、プライマリ DB インスタンスからのほぼリアルタイムのデータが含まれており、それらを使用して、読み取り専用ワークロードをプライマリ DB インスタンスからオフロードできます。そのワークロードには、たとえば、データ更新のレイテンシーをある程度許容できる分析タイプまたはレポートタイプのクエリがあります。さらに、リードレプリカをプライマリまたはセカンダリ DB インスタンスとは異なるアベイラビリティーゾーンでウォームスタンバイソリューションとして使用でき、ビジネスニーズに基づいてレプリカをシングル AZ インスタンスに昇格できます。Transparent Data Encryption (TDE) または AWS KMS […]

Read More

Amazon DocumentDB (MongoDB 互換) の開始方法 – パート 1 – Amazon EC2 の使用

Amazon DocumentDB (MongoDB 互換) は、MongoDB のワークロードをサポートする高速でスケーラブル、かつ可用性に優れた完全マネージドのドキュメントデータベースサービスです。お客様は、基盤となるインフラストラクチャの管理を気にすることなく、現在ご使用のものと同じ MongoDB 3.6 向けのアプリケーションコード、ドライバー、ツールを、そのまま Amazon DocumentDB 上でワークロードを実行、管理、そしてスケールするのに使えます。ドキュメントデータベースである Amazon DocumentDB は、JSON データの保存、クエリ、およびインデックスを容易にします。 このシリーズのパート 1 のこの投稿では、Amazon DocumentDB の開始方法を示します。これを行うため、デフォルトの Amazon VPC に Amazon EC2 インスタンスを作成します。デフォルトの VPC を作成する手順については、Amazon VPC の開始方法を参照してください。また、同じデフォルトの VPC で 1 インスタンスの Amazon DocumentDB クラスターをプロビジョニングします。この投稿では、ローカルコンピューターから EC2 インスタンスに SSH で接続し、mongo シェルを使用して EC2 インスタンスからクラスターに接続する方法を示します。最後に、Amazon DocumentDB クラスターに対してクエリを実行する方法を学びます。このチュートリアルを完了するためにかかる費用は 0.30 USD 未満です。 AWS リソースを作成するときは、AWS IAM のベストプラクティスに従うことをお勧めします。 次の図は、このチュートリアルの最終的なアーキテクチャを示しています。 このチュートリアルでは、特定のリージョンにおけるデフォルトの […]

Read More