Amazon Web Services ブログ

Category: Database

最終のご案内: 3月5日までに Amazon RDS / Aurora / DocumentDB のSSL/TLS証明書を更新してください

Amazon Relational Database Service (RDS)、Amazon Aurora、または Amazon DocumentDB をご使用中のお客様で、データベースインスタンスにSSL/TLS接続している方は、2020年3月5日までにSSL/TLS証明書を更新してください。実行しなかった場合、SSL/TLSでのデータベース接続ができなくなります。

Read More

Power BI と Amazon Redshift を統合して洞察を取得し分析する

Amazon Redshift は高速なフルマネージド型クラウドネイティブデータウェアハウスで、標準 SQL や既存のビジネスインテリジェンス (BI) ツールを使用して、すべてのデータをシンプルかつコスト効率よく分析できます。Microsoft Power BI は、洞察を得て、情報に基づいた迅速な意思決定を行うことを可能にするビジネス分析サービスです。Power BI により、アドホッククエリ分析を実行し、データを視覚化し、使いやすいダッシュボードを作成できます。 この記事では、Power BI を Amazon Redshift と統合して、強力に視覚化し洞察をもたらす方法を示します。 ソリューションのアーキテクチャ この記事では、AWS でゼロからビッグデータ環境を作成するのに役立つコードアーティファクトを提供します。提供される AWS CloudFormation テンプレートとコード例を使用することで、技術的な詳細をあまり知らずに、1 時間とかからずに新しい Amazon Redshift データウェアハウスを自動的にプロビジョニングできます。 この記事では、最も一般的なデプロイシナリオの統合を設定する方法も示します。たとえば、ODBC/JDBC ドライバーを使用して Power BI を AWS のサービスにどのように接続したらよいでしょうか? プライベートネットワークの背後にデプロイされている AWS のサービスにどのように接続したらよいでしょうか? AWS のサービスへの接続に使用する資格情報は何でしょうか? この記事の以下のセクションで、これらの疑問に対処し、答えていきます。 次の図は、AWS にデプロイされたソリューションアーキテクチャを示しています。AWS クラウド境界内のすべてのコンポーネントは、AWS CloudFormation テンプレートで自動的にデプロイされるため、AWS アカウントを使用してこのソリューションを迅速に再現できます。 デプロイされると、ソリューションには次のコンポーネントが含まれます。 VPC、パブリックサブネットとプライベートサブネット、セキュリティグループ、インターネットゲートウェイ、NAT ゲートウェイ、およびルートテーブルを含むネットワークインフラストラクチャ サンプルデータを生成するためにパブリックサブネットにプロビジョニングされた Linux EC2 インスタンス Power […]

Read More

カスタムテーブル設定を使用して Amazon DynamoDB バックアップを異なる AWS リージョンに復元する

Amazon DynamoDB バックアップと復元は、DynamoDB テーブルの継続的かつオンデマンドのバックアップを作成し、そのバックアップからデータを復元するためのシンプルで完全に自動化された機能を提供します。ポイントインタイムリカバリ (PITR) を使用すると、DynamoDB テーブルデータの連続バックアップを作成できます。DynamoDB は、1 秒ごとの粒度でデータをバックアップし、過去 35 日間の任意の時点に復元できます。PITR を構築して、誤った書き込みや削除からユーザーを保護します。オンデマンドバックアップ を使用して、DynamoDB テーブルの完全バックアップを作成することもできます。オンデマンドバックアップは、長期の保存とアーカイブに適しており、規制要件に準拠するのに役立ちます。 DynamoDB バックアップからデータを復元するときに異なるテーブル設定が行えるようにするため、新しい復元機能を複数導入しました。このブログ記事では、新機能とその使用方法について説明します。 新しい DynamoDB の復元機能の説明 DynamoDB バックアップからデータを復元するときに、次のタスクを実行できるようになりました。 ソースバックアップが存在する場所とは異なる AWS リージョンの新しいテーブルにバックアップを復元する。リージョン間の復元を実行できると、マルチリージョンのコンプライアンスおよび規制要件を満たし、災害復旧およびビジネス継続性計画を開発するのに役立ちます。 一部またはすべてのローカルおよびグローバルセカンダリインデックスを、復元されたテーブルで作成されないように除外する。セカンダリインデックスを復元対象から除外することにした場合、復元はより高速で費用効率が高くなります。 テーブルの請求方法を変更する (オンデマンドキャパシティーモードまたはプロビジョニング済みキャパシティーモード)。 必要に応じて、プロビジョニング済みのキャパシティーの設定を変更する。 復元されたテーブル (AWS が所有する CMK、AWS が管理する CMK、または顧客が管理する CMK) の暗号化キーを更新する。 AWS マネジメントコンソール、シンプルな API 呼び出し、または AWS コマンドラインインターフェイス (CLI) で数回クリックするだけで、復元された DynamoDB テーブルの設定を変更できます。実稼働アプリケーションのパフォーマンスや可用性に影響を与えることなく、数メガバイトから数百テラバイトのデータからテーブルを復元できます。 これらの新しい復元機能を使用する方法を見てみましょう。 PITR を有効にして開始 復元をテストするには、まずバックアップが必要です。幸いなことに、DynamoDB はテーブルを即座にバックアップしてくれます。テーブルで PITR を有効にすることから始めます。ここでは、私は米国東部 (オハイオ) リージョンを使用しています。けれども、この機能はどの […]

Read More

[AWS Black Belt Online Seminar] Next Generation Redshift 資料及び QA 公開

先日 (2020/02/18) 開催しました AWS Black Belt Online Seminar「Next Generation Redshift」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20200218 AWS Black Belt Online Seminar Next Generation Redshift from Amazon Web Services Japan AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます) Q. Concurrency Scalingの1日あたり1時間分の無料クレジットは繰越されるのでしょうか? A. はい、繰り越されます。クレジットはクラスターごとに最大30時間まで累積します。詳細はAmazon Redshift の料金 の「同時実行スケーリングの料金」をご参照ください。 Q. 無料アカウント(期間)にRA3をお試しする事可能ですか? A. いいえ、無料トライアルの2ヶ月間でお試しいただけるのはDC2.largeインスタンスタイプのみとなります。詳細は Amazon Redshift 無料トライアル をご参照ください。 — 今後の AWS Webinar | イベントスケジュール 直近で以下を予定しています。各詳細およびお申し込み先は下記URLからご確認いただけます。皆様のご参加をお待ちしております。 — AWSome Day Online […]

Read More

Autodesk のミッションクリティカルなデータベースを Microsoft SQL Server から Amazon Aurora MySQL に移行する

 この記事は、Autodesk のソフトウェアアーキテクトである Tulika Shrivastava 氏が、AWS の Rama Thamman の協力の下で執筆したゲスト投稿です。Autodesk は自社を評して次のように述べています。「Autodesk は 3D 設計、エンジニアリング、エンターテイメントソフトウェアの分野で牽引する企業です。車を運転したり、超高層ビルを見上げたり、スマートフォンを使用したり、偉大な映画を見たりしたことがある人は、何百万もの Autodesk ユーザーがソフトウェアで行っていることを身をもって体験されているものと思われます」 Autodesk は、AWS のサービスの中でも特に、プライベートデータセンターから Amazon EC2 へワークロードを移行することで、数年前にクラウドのモダナイゼーションを開始しました。Autodesk は、柔軟性とスケーラビリティを得て予想される成長を後押しするために近代化する必要がありました。2019 年、当社はミッションクリティカルなシングルサインオン (SSO) アプリケーションを EC2 上のセルフマネージド SQL Server から完全マネージド型の Amazon Aurora MySQL に移行しました。このサービスでは、1 億 4200 万人を超えるユーザーからの認証リクエストを集め、1 分あたり 145,000 件を超える API リクエストに応答しています。認証と承認のために 300 を超える製品とサービスと統合されています。 この移行により、Autodesk SSO サービスの管理と復元力が合理化され、コストが最適化され、インフラストラクチャメンテナンスのオーバーヘッドが削減されました。初期コスト分析によると、当社は Amazon Aurora MySQL を使用することで、データベース全体のコストの約 40〜50% を毎月節約できるだろうことがわかりました。 この記事では、Autodesk […]

Read More

MongoDB 互換の新しい Amazon DocumentDB 集計パイプライン演算子: $objectToArray、$arrayToObject、$slice、$mod、$range

 Amazon DocumentDB (MongoDB 互換) は、MongoDB のワークロードをサポートする高速でスケーラブル、かつ可用性に優れた完全マネージド型のドキュメント データベース サービスです。お客様は、基盤となるインフラストラクチャの管理を気にすることなく、現在ご使用のものと同じ MongoDB 向けのアプリケーションコード、ドライバー、ツールを、そのまま Amazon DocumentDB 上で実行や管理をしたり、処理負荷を調整したりするのに使えます。 今日、Amazon DocumentDB は、 5 つの集計パイプライン機能を新たにサポートするようになりました。これにより、ドキュメントで強力な集計を作成できます。新しい機能には、$objectToArray、$arrayToObject、$slice、$mod、$range 集計パイプライン演算子が含まれます。 AWS は日頃からお客様の声に耳を傾け、最もニーズの高い機能を構築し、実用的な機能の互換性を高めています。Amazon DocumentDB のサポート対象の MongoDB API と集計パイプライン機能の詳細については、ドキュメントを参照してください。 このブログ記事では、一般的なユースケースを使用してこれらの新しい集計演算子の一部を紹介し、クイックスタートガイドを提供します。これにより、Amazon DocumentDB でこれらの機能をすぐにご利用開始できます。 配列集計演算子 Amazon DocumentDB では、配列データ型を持つフィールドを含むドキュメントを作成できます。データベースのクエリ言語内でネイティブに配列をクエリおよび操作できると、配列操作をデータベースにプッシュすることでパフォーマンスを向上させ、アプリケーションコードを簡素化できます。このセクションでは、4 つの新しい配列集計演算子 ($arrayToObject、$slice、$objectToArray、$range) の使用方法を説明します。 $objectToArray $objectToArray 集計演算子は、オブジェクト (またはドキュメント) を配列に変換します。演算子への入力はドキュメントで、出力は入力ドキュメントの各フィールドと値のペアの配列要素で構成されます。 $objectToArray の仕組みを理解するために、アイオワ州の架空のビデオレンタルチェーン店のビデオテープの在庫を追跡するデータセットを例に取ります。最初にデータをモデル化して、特定のビデオタイトルごとに店舗在庫を分類しましたが、どの店舗のビデオ在庫が最も多いかを知りたい場合にはどうしたらよいでしょうか。その問いに答えるため、$objectToArray 集計演算子を使用します。 Input: サンプルデータセットの各ドキュメントは個別のビデオタイトルで、各レンタルビデオ店の所在地の在庫を追跡する埋め込みドキュメントが含まれています。 db.videos.insertMany([ { “_id”:1, “name”:”Live Soft”, “inventory”: {“Des Moines”: […]

Read More

Tinder における大規模な回復性構築のための Amazon ElastiCache の利用

この記事は、Tinder 社の William Youngs 氏 (ソフトウェアエンジニア) 、Daniel Alkalai 氏 (シニアソフトウェアエンジニア) 、Jun-young Kwak 氏 (シニアエンジニアリングマネージャー) らの寄稿によるものです。Tinder は、2012 年に大学のキャンパスで生み出され、世界で一番利用されているマッチングアプリに成長しました。現在までに、このアプリは 3 億 4,000万件以上ダウンロードされており、190 の国々において 40 以上の言語で利用されています。2019 年の第3四半期時点において、Tinder には 570 万人の登録者がおり、ゲーム以外のアプリの中では世界で最も成長しているものとなっています。 Tinder の業務は、毎日 20 億件におよぶメンバーからのアクションに対応しながら 300 億件のマッチングをホスティングするために、低レイテンシーを Redis ベースのキャッシングにより実現しています。ここで行われるデータオペレーションの主体は読み込みです。次に示す図が、当社のバックエンドマイクロサービスにより大規模な回復性を実現するための、基本的なデータフローアーキテクチャを説明しています。 図 1 キャッシュアサイドアプローチ このキャッシュアサイドアプローチでは、データを要求されたマイクロサービスは、信頼できる情報源である永続的データベースストア (主として Amazon DynamoDB ですが、PostgreSQL、MongoDB、Cassandra も使用する場合もあります) を参照する前に、まず、Redis によるキャッシュへのクエリを行います。このサービスでキャッシュミスが発生した場合は、Redis に対して真実の情報源から値の埋め戻しが行われます。 図 2 EC2 で Redis をシャードする構成 当社では、Amazon ElastiCache […]

Read More

AWS Glue および Amazon Redshift を使用して Amazon S3 の利用料金を分析する

AWS のコストと使用状況レポート (CUR) は、AWS の使用状況を追跡し、それに関連する推定請求額を算出します。このレポートは、毎時または日次ベースのデータを表示するように設定することができます。レポートは請求確定日までに、1 日に少なくとも 1 回更新されます。コストと使用状況レポートは、指定する Amazon S3 バケットに自動的に配信され、そこから直接ダウンロードできます。また、このレポートは、Amazon Redshift に統合したり、Amazon Athena でクエリを実行したり、Amazon QuickSight にアップロードしたりすることができます。詳細については、Query and Visualize AWS Cost and Usage Data Using Amazon Athena and Amazon QuickSight を参照してください。 この投稿では、AWS CUR、S3 インベントリレポート、S3 サーバーアクセスログを組み合わせることにより、AWS Glue データカタログと Amazon Redshift を使用して S3 の使用状況と利用料金を分析するソリューションを提供します。 前提条件 開始する前に、次の前提条件を満たしてください。 S3 インベントリとサーバーアクセスログデータファイル用に、S3 バケットが必要です。詳細については、「バケットの作成」と「Amazon S3 とは」を参照してください。 Amazon Redshift が S3 バケットにアクセスできるようにするには、適切な IAM […]

Read More

Oracle や SQL Server のコードを PostgreSQL に変換する開発者向けの移行のヒント

PostgreSQL は、オープンソースのリレーショナルデータベースの中でも最も人気のあるシステムの 1 つです。Oracle や Microsoft SQL Server などの商用データベースから移行する場合、最高のデータベースの選択肢の 1 つと言ってもいいでしょう。AWS には 2 つのマネージド PostgreSQL オプションである Amazon RDS と Amazon Aurora があります。 マネージド PostgreSQL サービスに加えて、AWS は移行を支援するツールやリソースも提供しています。AWS Schema Conversion Tool (SCT) は既存のスキーマの変換や、複数のソースデータベースとターゲットデータベースをサポートする無料の AWS ツールです。AWS には AWS Database Migration Service (DMS) もあります。これは異種データベース間および同種データベース間でデータを転送し、継続的にレプリケートを行うのに役立ちます。同様に、商用データベースと PostgreSQL などのオープンソースデータベースとの間の多数の機能マッピングを文書化した移行プレイブックを提供しています。 この投稿では、コードを PL/SQL から PL/pgSQL に変換するためのヒントとベストプラクティスをご紹介します。これにより、パフォーマンスの向上や PostgreSQL へのコード変換を実行できます。この投稿は、データベースの移行に取り組む開発者を対象としており、読者はデータベースと PL/SQL の基本的な知識があることを前提としています。 パフォーマンスに関する考慮事項 このセクションでは、SQL Server や […]

Read More

Aurora PostgreSQL のキャッシュ管理機能の紹介

Amazon Aurora は、ハイエンドな商用データベースが持つ速さや可用性を、オープンソースデータベースのシンプルさやコスト効率の高さと組み合わせた、リレーショナルデータベースエンジンです。PostgreSQL 互換エディションの Aurora では、同じハードウェアで動作させたとき、標準 PostgreSQL の最大 3 倍のスループットが実現できます。既存の PostgreSQL アプリケーションおよびツールは、修正をせずにそのまま使用可能です。この、PostgreSQL の互換性と Aurora のエンタープライズデータベース機能の組合せは、商用データベースを移行する際の理想的なターゲットとなっています。 リレーショナルデータベースでのキャッシング キャッシングは、すべてのリレーショナルデータベースがディスク I/O を削減するために備えている、主要な機能の一つです。これは、最も使用頻度の高いデータを、バッファーキャッシュと呼ばれるメモリの中に一時保存します。バッファーキャッシュにあるデータへのアクセスは、ディスクに保存されたものより高速です。つまり、スケーラビリティやアプリケーションのパフォーマンスを高めることができます。 PostgreSQL では、(テーブルやインデックスブロックなどの) アクセス頻度の高いデータブロックをキャッシュします。この設定は、データベースサーバーが使用する共有メモリバッファーの容量を規定する設定パラメータ (shared_buffers) により定義されます。詳細については、PostgreSQL ドキュメントウェブサイトの「Memory」をご参照ください。 キャッシングとフェイルオーバー Aurora PostgreSQL では、フェイルオーバー優先順位が最も高いリードレプリカを自動的に新しいマスターに昇格することで、高速のフェイルオーバー (約 35 秒) を実現しています。 リードレプリカは、プライマリと同じワークロードで実行するものではありません。従って、リードレプリカにおけるバッファーキャッシュの内容は、アプリケーションでの読み出し/書き込みワークロードを反映しきっていない、あるいは、障害が発生したプライマリの内容と完全に異なっている、ということがあり得ます。 フェイルオーバー発生時のバッファーキャッシュの内容によっては、新たに昇格された書き込みインスタンスにおいてキャッシュをウォームアップ (障害を起こす前のプライマリと同様な状態にキャッシュが遷移) するための時間が必要となります。バッファーキャッシュのウォームアップに必要な時間は、障害以前と同じ応答速度をアプリケーションが得られるようになるまでの時間です。 障害が起きた時点でのバッファーキャッシュの内容によっては、新たに昇格する書き込みインスタンスがキャッシュを (障害前のプライマリを反映した状態までに) ウォームアップするのに、顕著な時間を要することもあります。バッファーキャッシュのウォームアップに要する時間は、障害前と同じく信頼できる応答速度を得られるまで、アプリケーションが待機しなければならない時間となります。 クラスターキャッシュ管理 クラスターキャッシュ管理 (CCM) 機能は、フェイルオーバーが発生した後の、新しいプライマリ/書き込みインスタンスのパフォーマンスを向上させます。レプリカでは、アクセス頻度の高いバッファーをプライマリおよび書き込みのインスタンスからキャッシュして、予防的な読み込みを行っています。CCM により、特定の Aurora PostgreSQL レプリカをフェイルオーバーのターゲットとして指定することが可能です。CCM は、指定されたレプリカのキャッシュにあるデータが、プライマリ DB インスタンスのキャッシュにあるデータと正確に同期するようにします。 CCM の機能説明図を次に示します。読み出し専用 (RO) ノードは、読み出し/書き込み […]

Read More