Amazon Web Services ブログ

Category: Database

[AWS Black Belt Online Seminar] Amazon Redshift Advanced Guide −最新ベストプラクティスとアップデート 資料及び QA 公開

先日 (2020/07/29) 開催しました AWS Black Belt Online Seminar「Amazon Redshift Advanced Guide −最新ベストプラクティスとアップデート」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20200729 AWS Black Belt Online Seminar Amazon Redshift Advanced Guide −最新ベストプラクティスとアップデート from Amazon Web Services Japan AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます) Q. CTAS で、Parquet の外部テーブルを作成する際の質問です。利用イメージとして、データの全件洗替を上記でしたいのですが、S3 ファイルの上書きができないため、SQL 以外でS3ファイルを削除する必要がある認識です。Redsfhit で完結できないでしょうか。 A. データ全件洗い替えの方法はご認識いただいている通りとなります。現状 Redshift の CTAS での既存 S3 ファイルの上書きや、SQL 経由での S3 ファイルの削除をサポートしていないため、Redshift SQL のみでの完結は出来ません。 Q. Amazon DynamoDB […]

Read More

オンラインセミナー「RDS+Lambda が始まる。過去のアンチパターンはどう変わるのか」 資料および QA 公開

先日(2020/7/28)開催しましたオンラインセミナー
「 RDS+Lambda が始まる。過去のアンチパターンはどう変わるのか」
の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。

Read More

[AWS Black Belt Online Seminar] Amazon Neptune 資料及び QA 公開

先日 (2020/07/14) 開催しました AWS Black Belt Online Seminar「Amazon Neptune」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20200714 AWS Black Belt Online Seminar Amazon Neptune from Amazon Web Services Japan AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます) Q. 可視化について QuickSigt ではできませんか? A. 現在のところ QuickSight での可視化は直接行えませんので、本セミナーでご紹介した可視化ツールをご検討下さい。 Q. グラフ D Bのクエリ言語が ISO で標準化 (GQL) されたがこれまで Neptune は非対応だった。どうなる? A. Amazon Neptune は GQL には対応しておりません。 Q. Neptune は可視化がサードパーティー頼みだったが、以前より良いものが出てきていそうか? A. 可視化につきましては本セミナーでご紹介した可視化ツールをご検討下さい。 […]

Read More

ロールの連鎖を使用して、Amazon Redshift Spectrum 外部テーブルへのアクセスを Amazon Redshift IAM ユーザーとグループに制限する

 Amazon Redshift Spectrum では、Amazon Redshift クラスターから中央 AWS Glue メタストアを使用して、Amazon Simple Storage Service (Amazon S3) データレイクのデータをクエリすることができます。この機能により、ご使用中の Amazon Redshift データウェアハウスにおけるペタバイト規模のデータ保存制限がなくなり、エクサバイトのデータへの拡張を低予算でできるようになります。Amazon EMR と同様に、オープンデータ形式と低料金のストレージによるメリットを享受しながら、Redshift Spectrum ノードを数千に拡張し、データのプル、フィルタリング、投影、集約、グループ化、ソートなどが行えます。Redshift Spectrum はサーバーレスであり、プロビジョニングや管理が不要な点で、Amazon Athena と同じです。お支払いは、1 TB のデータスキャンごとに 5 USD のみです。今回の記事では、ロールの連鎖を使用したきめの細いアクセス制御を有効化し、ユーザーの要求に忠実なアクセス管理を実現するための、Amazon Redshift でのセキュリティ設定方法をご説明していきます。 RedShift Spectrum を使用して Amazon Redshift と Amazon S3 のデータレイクを統合する、レイクハウスアプローチの使用を開始する際、クラスターにある異なる外部スキーマにアクセス権を付与するためには一定以上の柔軟性が必要です。たとえば、ここでは次のようなユースケースを考えます。2 つの Redshift Spectrum スキーマ(SA および SB)が、(それぞれに、A と B という)2 つのデータベースに対し AWS Glue […]

Read More

Woot がお買い得品を拡大するために Amazon DocumentDB (MongoDB 互換) を使用する方法

 Woot! は 2004 年に設立され、2010 年にアマゾンが買収した元祖デイリーディールサイトです。Woot は当初、毎日 1 つの製品を売り切れるまで販売していましたが、現在は 7 つのカテゴリーでその日のお買い得品とその他期間限定オファーを提供しています。私のチームは Woot でリテールカタログサービスを担当しており、これは Woot のさまざまなフロントエンドサービスとユーザーインターフェイスにお買い得品を提供します。Woot が年々成長する中で私たちが直面した問題の多くは、スケーリング限界に達した古いレガシーシステムに起因するものでした。 この記事では、Woot でご覧いただける製品カタログとお買い得品の原動力となるセルフホスト型の MongoDB データベースを Amazon DocumentDB (MongoDB 互換) にどのように移行したかについて説明していきます。また、コストを削減しながらパフォーマンス、スケーリング、および俊敏性を向上させる上で Amazon DocumentDB がどのように役立ったかについても説明します。 アプリケーションアーキテクチャ Woot のリテールカタログサービスは Amazon DocumentDB をそのプライマリデータベースとして使用しています。Amazon DocumentDB 内では、データがアイテム (Woot が販売する製品)、オファー (時間と数量によって制限される販売対象アイテム)、およびイベント (お客様に売り出されるオファーのグループ) のコレクションに分類されます。私たちのバックエンドシステムは、主に C#/.Net (レガシー .Net Framework Windows サービスとサーバーレス .Net Core マイクロサービススタックの組み合わせ) を使用します。現在、Windows IIS API が Amazon […]

Read More

Amazon RDS for PostgreSQL 環境の自動バキュームを理解する

 PostgreSQL は、多くのエンタープライズデベロッパーや新興企業に推奨されるオープンソースリレーショナルデータベースになり、主要なビジネスアプリケーションやモバイルアプリケーションを強化しています。アマゾン ウェブ サービス (AWS) は、完全マネージド型のリレーショナルデータベースサービスとして、Amazon Relational Database Service (Amazon RDS) および Amazon Aurora を提供しています。Amazon RDS for PostgreSQL により、クラウドで PostgreSQL デプロイを簡単にセットアップ、操作、スケーリングできます。コマンドをいくつか使用するだけで、本稼働データベースのインスタンスを AWS で起動して実行することができます。オンラインデータベースを使用すれば、データベース管理者 は多くのメンテナンスタスクや管理タスクから解放されます。ただし、VACUUM など、データベースの使用状況に基づいて綿密なモニタリングと変更を必要とするメンテナンスタスクがあります。自動バキュームは、バキュームの操作を自動化するプロセスです。 この記事では、自動バキュームプロセスとその重要性について説明します。また、パフォーマンスを向上させるための自動バキューム設定を調整することと、オフにすることの欠点についても説明します。 PostgreSQL の MVCC PostgreSQL は多版型同時実行制御 (MVCC) を使用して、データの変更を実行するときに行を複数のバージョンで維持しています。テーブルに対する UPDATE および DELETE 操作中、データベースは古いバージョンの行を保持します。これは、他の実行中のトランザクションがデータのビューに一貫性を持たせることを要求する場合があるためです。PostgreSQL では、データベースを変更するすべてのステートメントが、xid と呼ばれるトランザクション ID を生成します。行のステータスは、xmin と xmax という 2 つの非表示列の xid を用いて追跡します。 1 つの列を持つテーブル test を考えてみましょう。行を挿入するには、次のコードを参照してください。 postgres=# CREATE […]

Read More

Amazon DocumentDB (MongoDB 互換) を使用してコストを最適化する

Amazon DocumentDB (MongoDB 互換) は、MongoDB のワークロードをサポートする、高速かつスケーラブルで可用性に優れた完全マネージドのドキュメントデータベースサービスです。お客様は、基盤となるインフラストラクチャの管理を気にすることなく、現在の MongoDB 3.6 用のプリケーションコード、ドライバー、ツールをそのまま使用して、Amazon DocumentDB 上でのワークロードの実行、管理、そしてスケーリングが行えます。ドキュメントデータベースである Amazon DocumentDB は、JSON データの保存、クエリ、およびインデックスを容易にします。 AWS は、可用性、信頼性、耐久性、スケーラビリティ、バックアップなどに関するお客様の課題を独自の方法を用いて解決するために Amazon DocumentDB を構築しました。その過程において、当社は、付加価値を生まない手間のかかる作業を取り除き、コストを削減するために、いくつかの斬新でユニークな機能を構築しました。この記事では、コストの見積もり、最適化、モニタリングを可能にする Amazon DocumentDB 機能を紹介します。 T3 ミディアムインスタンス T3 ミディアムインスタンス (4 GiB RAM、2 vCPU) のリリースにより、r5.large インスタンス (16 GiB RAM、2 vCPU) 以前のエントリポイントより 72% 安い低コストのインスタンスタイプ (1 時間あたり 0.078 USD) が得られます (料金はリージョンごとに異なります。Amazon DocumentDB の料金をご覧ください)。 T3 インスタンスは、開始、開発とテスト、および小規模の本番ワークロードに最適です。T3 ミディアムインスタンスで新しいクラスターをプロビジョニングするか、既存のクラスターのインスタンスを T3 ミディアムインスタンスにスケーリングできます。詳細については、Amazon DocumentDB インスタンスの変更を参照してください。 […]

Read More

Amazon RDS Proxy を使用したアプリケーションの可用性の向上

Amazon RDS Proxy の利点の 1 つは、データベースのフェイルオーバー後のアプリケーションにかかる復旧時間を改善できることです。RDS Proxy は MySQL と PostgreSQL エンジンの両方をサポートしていますが、この記事では、MySQL テストワークロードを使用して、RDS Proxy がフェイルオーバー後のクライアントリカバリ時間を Amazon Aurora MySQL で最大 79%、Amazon RDS for MySQL で最大 32% 削減する方法を示します。この記事では、RDS Proxy がクライアントをリーダー/ライターの移行問題から隔離し、次善のクライアント設定を克服する方法についても説明しています。アクティブ接続監視による計画的フェイルオーバーと計画外フェイルオーバー、およびフェイルオーバーを通じてアイドル接続を維持することによるクライアント接続プールの RDS Proxy の利点について説明します。最後に、この記事では、おすすめのクライアント構成をいくつか紹介します。 背景 RDS Proxy は、Amazon RDS for MySQL/PostgreSQL および Aurora MySQL/PostgreSQL データベースに向かって進むことができます。これにより、データベースへのアプリケーションへのアクセスを管理でき、接続プーリング、多重化、適切なフェイルオーバーを提供します。データベース接続の制限を超えてスケーリングし、接続のバーストとアプリケーションからのリクエストを管理できます。この記事では、RDS Proxy フェイルオーバーのメリットに焦点を当てています。 フェイルオーバーは、プライマリデータベースインスタンスにアクセスできなくなり、別のインスタンスが新しいプライマリとして引き継がれるときに発生します。これにより、クライアント接続が中断されます。ローリングアップグレードなどの管理アクションによって引き起こされた場合は計画的フェイルオーバー、障害が原因で発生した場合は計画外フェイルオーバーになります。どちらの場合も、クライアントの中断を最小限に抑えるためにダウンタイムを取り除くする必要があります。 Amazon RDS には複数の高可用性オプションがあり、RDS Proxy は各オプションにフェイルオーバー復旧の利点を提供します。Amazon RDS マルチ AZ オプションは、同期レプリケーションを備えたプライマリ構成およびスタンバイ構成です。Aurora は、最大 […]

Read More

Amazon RDS for Oracle バージョン 12.2.0.1と11.2.0.4のサポート終了のお知らせ

本投稿は、こちらのフォーラムに投稿された Amazon RDS for Oracle をご利用中のお客様向けアナウンスメントの参考和訳です。 本投稿では、Amazon RDS for Oracle Database 12.2.0.1と11.2.0.4と廃止計画とタイムラインを取り上げています。 Oracle Database 12.2.0.1 廃止計画とタイムライン 2020年4月15日、Oracle 社はサポートを契約しているお客様に対してOracle Database 12.2.0.1のLimited Error Correction (限定的なエラー修正) を2022年3月31日まで追加料金なしで提供すると発表しました[1]。Oracle Database 12.2.0.1のこの新しいサポート・タイムラインに基づき、Amazon RDS for Oracle では、全エディションのlicense-included(LI) とBring-your-own-license(BYOL) でこのバージョンを2022年3月31日までサポートする予定です。Oracle Database 12.2.0.1のLimited Error Correction の期間中、Amazon RDS for Oracle は、Oracle の四半期ごとのリリース・アップデート(RU)に基づいた新しいリリースを提供する予定です。 Extended Support のバージョンでは、BYOL のお客様は、Oracle Support から購入したサポート契約を締結するか、サポート対象バージョンにアップグレードする必要がありますのでご注意ください。BYOL のお客様のライセンスおよびサポート要件の詳細については、Amazon RDS for Oracle のよくある質問 [3]を参照してください。 Oracle […]

Read More