Amazon Web Services ブログ

Category: Database

Bucardo を使用して従来の PostgreSQL データベースを Amazon RDS または Aurora PostgreSQL に移行する

 9.4 より前の PostgreSQL を使用している場合、サポートされていない PostgreSQL バージョンを使用していることになります。Amazon RDS または Amazon Aurora PostgreSQL でデータベースを移行または複製するためのオプションが制限されている場合があります。これは主に、9.4 よりも古いバージョンの PostgreSQL では論理複製を実行できないのが原因です。 Bucardo は、データの変更を非同期で複数のセカンダリまたは複数のマスターに複製できるオープンソースユーティリティです。これはトリガーベースのレプリケーションであり、より広範囲の移行や継続的なレプリケーションに対して一貫性と安定性が実証されています。Bucardo は、プライマリキーなしでテーブルの全ロードを実行できます。ただし、デルタデータの変更をプライマリから複製するには、セットアップを開始する前にプライマリキーを作成します。 この記事では、Bucardo をセットアップし、PostgreSQL 8.4 から PostgreSQL 9.6 にデータ変更を複製する方法を示しています。 前提条件 開始する前に、次のものが必要です。 Bucardo 用 Ubuntu 16.04 を使用する 1 つの EC2 インスタンス (Bucardo サーバー: 172.31.88.4) PostgreSQL 8.4.2 で RHEL 6 を使用する 1 つの EC2 インスタンス (PostgreSQL 8.4.2: 172.31.16.177) us-east-1 に […]

Read More

新しい AWS 認定で、AWS 専用データベースの専門知識を確認する

 本日、新しい AWS 認定データベース – 専門認定を発表します。これは、パフォーマンスの向上、コストの削減、革新を可能にする最適な AWS データベースソリューションを推奨、設計、保守することに関する個人の専門知識を確認するものです。この認定は、AWS 専用データベースの技術スキルを確認した最初の認定です。 新しい AWS 認定を創造するため、AWS は経験豊富な専門家と協力して、関連する役割または技術トピックの能力の基準を設定しています。この内容領域専門家は、認定を取得することで知識とスキルがあることを明確にします。シニアデータおよび情報アーキテクトの Neil Lesile 氏とシニアテクニカルプログラムマネージャーの Brian Millard 氏(両者 GE Core Technology) は、AWS データベースの内容領域専門家 (SME) として認定の開発に貢献しました。 Millard 氏は次のように述べています。「この認定は、クラウドデータベースの専門家として人を引き立てることができます。私たちの組織にとって、確固たる尊敬されるクラウドベースのチームを構築するには、認定で取り扱うスキルが必要です」 Leslie 氏は、この新しい認定により、「企業はデータベースの人材を簡単に特定し、データを保護し、変革の過程のコストを最小限に抑えるための適切な意思決定を確実に行えるようになります」と述べています。 データベースの経験と知識の深さは、拡張性やセキュリティなどの要件を満たすことができるチームを備え、ワークロードに適したデータベースを自信を持って選択したい AWS のお客様とパートナーにとって重要な能力です。 この認定は、さまざまなリレーショナルデータベースおよび非リレーショナルデータベースの専門知識を確認した最初の認定です。Esteh の所有者である Goran Opacic 氏は、さまざまな AWS データベースの経験に価値があると考えています。「長年、1 つのデータベースですべてのデータの問題を解決しようとしてきました。AWS は、同じセキュリティモデル、移行ツール、SDK などを使用して、これらの製品を 1 つのソリューションに混在させるのがいかに簡単かという点で目を開かせてくれました。そしてこれらが、AWS 認定データベース – 専門認定で成功するために必要なスキルです」 Opacic 氏はまた、AWS User Group Belgrade のコミュニティリーダーで、AWS データヒーローズの […]

Read More

Amazon DocumentDB (MongoDB 互換) でのランプアップ

 Amazon DocumentDB (MongoDB 互換) は、MongoDB のワークロードをサポートする高速でスケーラブル、かつ可用性に優れた完全マネージド型のドキュメントデータベースサービスです。ドキュメントデータベースである Amazon DocumentDB は、JSON データの保存、クエリ、およびインデックスを容易にします。Amazon DocumentDB には MongoDB 3.6 のドライバおよびツールとの互換性があります。現在すでに MongoDB データベースで使用しているアプリケーション、ドライバ、およびツールの多くは、変更なし、またはわずかな変更のみで Amazon DocumentDB で使用することができます。 このブログ記事では、皆さんが Amazon DocumentDB ですばやくランプアップできるように、最もよく質問されるトピックに関する簡単な概要とリソース一式を提供します。 Amazon DocumentDB とは何ですか? Amazon DocumentDB の使用を開始する方法を教えてください Amazon DocumentDB で構築およびスケールするにはどうすればよいですか? Amazon DocumentDB に移行するにはどうすればよいですか? 誰が Amazon DocumentDB を利用していますか? Amazon DocumentDB の最新情報を常に把握しておくにはどうすればよいですか? Amazon DocumentDB とは何ですか? Amazon DocumentDB がユニークなデータベースである理由、そしてそのクラウドネイティブなアーキテクチャがストレージとコンピューティングを分離させてすばやいスケーリングを可能にする方法の詳細については、以下のリソースにアクセスしてください。 Amazon DocumentDB ディープダイブ (re:Invent 2019 […]

Read More

Amazon Aurora Global Database を使った Aurora PostgreSQL 災害復旧ソリューション

 Amazon Aurora (PostgreSQL 互換) は、高性能商用データベースのパフォーマンスと可用性、そしてオープンソースデータベースのシンプルさとコスト効率性を兼ね備えています。Aurora は、同じリージョン内の 3 つのアベイラビリティーゾーンにストレージをスケールすることでこれを実現し、単一リージョン内で読み込みワークロードと高可用性をスケールアウトするために最大 15 個のリードレプリカをサポートします。Amazon Aurora Global Database では、リージョン全体で障害が発生した場合におけるリモート読み込みアクセスと災害復旧のために、最大 5 つのリージョンに PostgreSQL データベースをレプリケートできるようになりました。 Aurora は、保護グループと呼ばれる 10 GB の論理ブロックにストレージボリュームを構築しています。Aurora は、同じリージョン内の 3 つのアベイラビリティーゾーン (AZ) にまたがって割り当てられている 6 個のストレージノード (AZ ごとに 2 個) 全体に各保護グループをレプリケートします。データのボリュームが現在割り当てられているストレージを超えると、Aurora は必要に応じて新しい保護グループを追加することによってボリュームを拡大し、需要を満たします。 Aurora Global Database とは? 複数のリージョンにまたがる Aurora Global Database は、リージョン全体の障害からの災害復旧を実現し、最も近い位置にある Aurora クラスターからの読み込みを許可することによって、低レイテンシーのグローバル読み込みを可能にします。 Aurora の機能として、Global Database は Aurora のストレージレイヤーにある専用のインフラストラクチャを使用して、リージョン間のレプリケーションを処理します。レプリケーションはストレージレイヤー内の専用レプリケーションサーバーが処理するため、データベースのパフォーマンスを損なうことなく高度な復旧および可用性目標を達成できます。 PostgreSQL […]

Read More

Amazon Redshift の新しい一時停止/再開アクションでコストを削減

 今日の分析ワークロードには通常、24 時間年中無休で利用できるデータウェアハウスが必要ですが、Amazon Redshift クラスターが高頻度 (または低頻度) 間隔で短時間しか必要ない場合があるかもしれません。たとえば、定期的なETL ジョブを実行する、またはクラスターをテストと開発に使用して、勤務時間外や週末には使用しないなどです。こういった場合、データウェアハウスを短時間だけ起動して実行する簡単な方法があればよいと思うでしょう。これまでは、バックアップを作成し、クラスターを停止して、スナップショットからクラスターを復元することでこれを実行することができました。Amazon Redshift の一時停止と再開の各アクションは、課金を停止するためのよりシンプルな方法で、Amazon Redshift が定期的に 1 回数時間単位で停止される場合のために設計されています。 クラスターを一時停止するとコンピューティングが停止されますが、基盤となるデータ構造とデータは維持されるので、後ほどデータを喪失することなくクラスターを再開できます。これは Amazon Redshift コンソールで、または Amazon Redshift CLI を使って設定できます。 クラスターが一時停止されると、料金はクラスターのストレージにしか発生しません。オンデマンドコンピューティングの課金は停止され、秒単位で再開されます。一時停止されたクラスターは、引き続きコンソールにエントリとして表示されます。一時停止と再開のアクションは、運用ニーズに適したスケジュールを使用して自動化することもできます。 Amazon Redshift コンソールを使ったアクションの使用 Amazon Redshift コンソールで一時停止および再開アクションを使用するには、以下の手順を実行してください。 Amazon Redshift コンソールで [クラスター] を選択します。 目的のクラスターを選択します。 [アクション] を選択します。 [Pause] を選択します。 クラスターをいつ一時停止するかを決定するには、次の 3 つのオプションから選択します。 クラスターを直ちに一時停止するには、[Pause now] を選択します。 クラスターを後で一時停止するには、[Pause later] を選択します。 設定されたスケジュールに従ってクラスターを一時停止し、再開するには [Pause and resume on schedule] を選択します。 […]

Read More

AWS DMS を使った Oracle および PostgreSQL エンドポイントでの SSL 暗号化の設定

 AWS Database Migration Service (DMS) は、データベースを AWS にセキュアな方法で移行するために役立ちます。AWS DMS は、Oracle から Amazon Aurora など、異なるデータベースプラットフォーム間での同種間および異種間移行をサポートしています。高可用性を維持しながら継続的なデータレプリケーションもサポートする AWS DMS は、設定が容易であることからデータベースの移行に幅広く採用されています。詳細については、「AWS Database Migration Service とは」を参照してください。 この記事では、ソース (Oracle) とターゲット (Aurora) のエンドポイントを暗号化して SSL を使用し、転送時のデータの暗号化を実装する方法をご紹介します。お客様の環境をシミュレートするため、この記事は Amazon EC2 インスタンス上の Oracle、Amazon Relational Database Service (RDS) 上の Oracle (ソースデータベース)、Amazon Aurora with PostgreSQL (ターゲットデータベース) に SSL を設定する手順を説明します。 ソリューションの概要 このソリューションの手順は次の通りです。 ソース Oracle インスタンスで SSL を設定する。これには次の手順が含まれます。 a.Oracle […]

Read More

IAM 認証を使用して、pgAdmin Amazon Aurora PostgreSQL または Amazon RDS for PostgreSQL に接続する

Amazon Relational Database Service (RDS) では、AWS Identity and Access Management (IAM) を使用して、Amazon RDS for PostgreSQL データベースインスタンスと Amazon Aurora PostgreSQL クラスターのデータベースアクセスを管理できます。データベース管理者は、データベースユーザーを IAM のユーザーとロールに関連付けることができます。IAM データベース認証を使用すると、データベースクラスターに接続するときにパスワードを入力する必要がありません。代わりに、認証トークンを用います。 認証トークンは、Aurora がリクエスト時に生成する一意の文字列で、AWS 署名バージョン 4 を使用します。各トークンの有効期間は 15 分です。認証は IAM を使用して外部で管理されるため、ユーザーの認証情報をデータベースに保存する必要はありません。パスワード認証を引き続き利用することもできます。詳細については、PostgreSQL ドキュメントのウェブサイトの「クライアント認証」を参照してください。 この記事では、Aurora PostgreSQL クラスターに接続するためにすでに使用しているツールで IAM 認証を行う方法について説明します。ここで説明する手順は Amazon RDS for PostgreSQL インスタンスでも同じ様に使えます。リソースをプロビジョニングし、IAM 認証の環境を設定するために提供されたコマンドを使って一緒に実行することができます。 この記事では、psql コマンドラインツールまたは IAM 認証情報による pgAdmin のいずれかを使用してクラスターに接続する方法についても説明します。 前提条件 RDS は、PostgreSQL データベースインスタンスの Secure […]

Read More

Amazon DynamoDB オンデマンドキャパシティーモードを使用して、急増するワークロードを実行し、コストを 90% 以上最適化する

これは、TVer Technologies Inc. のソフトウェアエンジニアであるウツミケイスケ氏によるゲスト投稿です。同社の言葉を借りると、「 TVer Technologies Inc. は、テレビ放送と同期されたウェブサイトを利用して、ユーザーにインタラクティブなエンターテイメントサービスを提供しています 」との事です。 TVer Technologies Inc. は、日本のテレビ視聴者向けにウェブサイトとアプリベースのインタラクティブコンテンツを提供しています。当社のアプリケーションの多くは、Amazon DynamoDB をデータベースとして使用して、登録ユーザー情報を保存し、テレビ放送中のライブ投票イベントでユーザーの投票活動の履歴を記録します。当社のアプリケーションは、毎朝の番組や季節ごとのポップミュージック番組でよく用いられています。このブログ記事では、DynamoDB のオンデマンド読み取り/書き込みキャパシティーモードを使用して、TV ライブ投票イベントで使用されるシステムのコストとパフォーマンスを最適化する方法を確認します。 視聴者の投票期間はテレビ番組の放映時間に制限されているため、ほとんどのライブ投票プロジェクトでは、ユーザーアクセスは数時間しか見られません。この数時間で、アクセスリクエストが急増するのはほんの数分間です。ピーク時以外のワークロードは、ピーク時と比較してほとんどありません。両者を比べると、1:100 または 1:10,000 の割合です。 次のグラフは、視聴者をウェブサイトに投票させるテレビ番組中のウェブサービスへのアクセスリクエストの記録を示しています。投票がなかったときは、視聴者からの投票活動へのアクセスがないため、リクエストはありませんでした。具体的には、19:30 から 20:15 の間、ユーザーからの投票アクティビティがなかったため、リクエストはありませんでした。それから 20:15 に、視聴者が投票を開始し、システムがユーザーのデータを記録し始めたため、数分間スパイクが見られました。プログラムが 22:30 に終了するまで、投票時間中に短いスパイクが繰り返されるこのパターンが不規則に広がっています。Amazon CloudWatch Logs がレコードを収集したため、数値は 1 分あたりの平均値です。ピーク時に記録された実際の数は、非ピーク時の 2~3 倍でした。 Amazon DynamoDB オンデマンドを使用する理由 このケースでは、Amazon DynamoDB オンデマンドが最も有用であることがわかりました。DynamoDB の Auto Scaling を使用することもできましたが、TV プログラムでの計画外のプロモーションが原因でリクエストが突然または予期せず急増した場合、DynamoDB の Auto Scaling では十分に早く追いつけないでしょう。DynamoDB オンデマンドを使用すると、お金を節約し、手動による介入を減らすことができ、遅滞がありません。 一部のライブプログラムには、プログラム中、イベントの厳密なスケジュールがありません。したがって、トラフィックが急増する時間帯を事前に予測することは困難です。ピーク時のトラフィックに備えて DynamoDB のキャパシティーを事前にプロビジョニングした場合、実際にピークがいつ発生したかに関係なく、そのリソースに対して料金を支払う必要があります。DynamoDB […]

Read More

AWS DMS を使用して Oracle から Amazon Aurora に移行する継続的なデータベースレプリケーション

これは IPG のゲスト投稿です。同社の説明によれば、「IPG は日本に拠点を置いており、テレビ関連のデータを専門に取り扱っています。日本全国の放送局から送られてきたデータを使用し、使いやすく理解しやすいようにフォーマットし、メタタグで構造化し、スマートフォンなどのプラットフォームで簡単に利用できるようにしています」 この記事では、AWS DMS を使用して、Oracle から Amazon Aurora への移行中にテストしたさまざまな最適化および MySQL 互換性について説明し、各ソリューションの欠点と利点を示し、取り扱うユースケースに最適なソリューションについて説明します。 次の図は、衛星、放送局、コンテンツプロバイダーから送られてきたデータを IPG がどのように移転させているかを示しています。 最初に Oracle データベースを使用して、テレビ番組のデータとそのさまざまな関連情報を保存および管理しました。入力データの詳細は次のとおりです。 EPG データ – 約 250,000 の番組 (地上波、BS、CS100°、新しい 4K8K の衛星放送を含む 8 日先までのテレビ番組情報) 放送局 – 約 200 の放送局と約 1000 のチャンネル コンテンツプロバイダー – 約 10 社 このデータは 30 の企業に送信され、それらの企業のサービスで使用されます。 システム操作には、40 個のバッチプログラム、10 個の操作 UI、40 個の API サービスを含むソフトウェアプログラムの複雑なネットワークを使用しました。 Oracle に関する懸念事項 このシステムは耐久性があり安定していますが、次の点に懸念がありました。 […]

Read More

AWS DMS を使用してほぼゼロのダウンタイムで Oracle データベースを移行する

ダウンタイムを許容できない重要な Oracle OLTP データベースが組織にございますか? 最小限のダウンタイムで、またはダウンタイムなしで Oracle データベースを AWS に移行したいとお考えですか? 24 時間年中無休でアプリケーションとデータベースが利用できることが求められる今日のペースの速い世界では、アプリケーションによっては、オンプレミスデータベースをクラウドに移行する際に大幅なダウンタイムを許容できないものもあるでしょう。 この記事では、AWS Database Migration Service (AWS DMS) とその変更データキャプチャ (CDC) 機能を使用してダウンタイムを最小限に抑えるために、オンプレミスの Oracle データベースを Oracle の Amazon Relational Database Service (RDS) に移行するソリューションについて説明します。 AWS DMS の概要 AWS DMS は、データベースを AWS に移行するのに役立つクラウドサービスです。AWS DMS は、リレーショナルデータベース、データウェアハウス、NoSQL データベース、およびその他の種類のデータストアを AWS クラウドに移行できます。AWS DMS は、異なるデータベースプラットフォーム間の同種および異種の移行をサポートしています。1 回限りの移行を実行し、進行中の変更をレプリケートして、ソースデータベースとターゲットデータベースを継続的に同期することができます。AWS DMS を使用するには、少なくともソースデータベースまたはターゲットデータベースのいずれか 1 つのデータベースエンドが AWS にある必要があります。 AWS DMS のみを使用してデータ変更をレプリケートする場合、AWS […]

Read More