Amazon Web Services ブログ

Category: AWS Database Migration Service

AWS DMS を使った Oracle および PostgreSQL エンドポイントでの SSL 暗号化の設定

 AWS Database Migration Service (DMS) は、データベースを AWS にセキュアな方法で移行するために役立ちます。AWS DMS は、Oracle から Amazon Aurora など、異なるデータベースプラットフォーム間での同種間および異種間移行をサポートしています。高可用性を維持しながら継続的なデータレプリケーションもサポートする AWS DMS は、設定が容易であることからデータベースの移行に幅広く採用されています。詳細については、「AWS Database Migration Service とは」を参照してください。 この記事では、ソース (Oracle) とターゲット (Aurora) のエンドポイントを暗号化して SSL を使用し、転送時のデータの暗号化を実装する方法をご紹介します。お客様の環境をシミュレートするため、この記事は Amazon EC2 インスタンス上の Oracle、Amazon Relational Database Service (RDS) 上の Oracle (ソースデータベース)、Amazon Aurora with PostgreSQL (ターゲットデータベース) に SSL を設定する手順を説明します。 ソリューションの概要 このソリューションの手順は次の通りです。 ソース Oracle インスタンスで SSL を設定する。これには次の手順が含まれます。 a.Oracle […]

Read More

AWS DMS を使用してほぼゼロのダウンタイムで Oracle データベースを移行する

ダウンタイムを許容できない重要な Oracle OLTP データベースが組織にございますか? 最小限のダウンタイムで、またはダウンタイムなしで Oracle データベースを AWS に移行したいとお考えですか? 24 時間年中無休でアプリケーションとデータベースが利用できることが求められる今日のペースの速い世界では、アプリケーションによっては、オンプレミスデータベースをクラウドに移行する際に大幅なダウンタイムを許容できないものもあるでしょう。 この記事では、AWS Database Migration Service (AWS DMS) とその変更データキャプチャ (CDC) 機能を使用してダウンタイムを最小限に抑えるために、オンプレミスの Oracle データベースを Oracle の Amazon Relational Database Service (RDS) に移行するソリューションについて説明します。 AWS DMS の概要 AWS DMS は、データベースを AWS に移行するのに役立つクラウドサービスです。AWS DMS は、リレーショナルデータベース、データウェアハウス、NoSQL データベース、およびその他の種類のデータストアを AWS クラウドに移行できます。AWS DMS は、異なるデータベースプラットフォーム間の同種および異種の移行をサポートしています。1 回限りの移行を実行し、進行中の変更をレプリケートして、ソースデータベースとターゲットデータベースを継続的に同期することができます。AWS DMS を使用するには、少なくともソースデータベースまたはターゲットデータベースのいずれか 1 つのデータベースエンドが AWS にある必要があります。 AWS DMS のみを使用してデータ変更をレプリケートする場合、AWS […]

Read More

AWS DMS でのテーブルマッピング作成の自動化

AWS Database Migration Service (AWS DMS) を使えば、オンプレミスデータベースを AWS に迅速かつ安全に移行できます。同種間だけでなく、異種間の移行もサポートしています。移行の実行中やテスト中でも、ソースデータベースは稼働を続けます。移行は、DMS レプリケーションサーバー、ソース、ターゲットエンドポイント、移行タスクを使って行います。 DMS を使って多くのデータベースを移行したい、そして少数のテーブルだけを選択して JSON ファイルの作成を自動化したいなら、この投稿はお役に立つことと思います。この投稿では、DMS タスクの JSON ファイル作成を自動化するツールについて説明します。 自動化の必要性 DMS は、移行プロジェクトに関連する難しいまたは面倒なタスクを数多く引き継いでくれます。ロギングやエラー処理などの特別な処理を行うとともに、移行するスキーマとテーブルを指定します。 移行タスクには次のものが含まれます。 名前 内容 ソース ターゲットエンドポイント テーブルマッピング この投稿では、特にテーブルマッピングのセクションに焦点を当てています。テーブルマッピングではいくつかのタイプのルールを使用して、データソース、スキーマ、タスク中に発生する変換などを指定します。 テーブルマッピングを指定するには、ガイド付きと JSON の 2 つの異なる方法があります。 ガイド付きの方法では、個々のテーブル名またはワイルドカード文字 (% や ABC%) としてテーブル名を入力できます。移行のために選択したテーブルを含めたり除外したりする必要のあるテーブルが多数ある場合、ガイド付きの方法は時間がかかります。 一方 JSON の自動化オプションは、同じ情報を詳細に入力できます。 この投稿では、Python ツールを使用した JSON ファイル作成の自動化を取り上げています。JSON ファイルは手動で作成できますが、記述されているルールの数によっては扱いにくく、あるいはエラーが発生しやすくなります。 自動化ソリューションの説明 この投稿では Python ベースのツールをご紹介します。これは、入力を CSV ファイルとして受け取り、必要とする除外ルールとアクションルールのコンポーネントを含んだ単一の JSON ファイルを生成します。特定のフォルダーに複数の入力ファイルが存在する場合があります。ツールへ唯一入力できる場所はフォルダーです。 このフォルダー内のすべてのファイルの名前は、include* または […]

Read More

AWS DMS を使ってデータベースの移行とリフレッシュ処理を自動化する

アプリケーション開発者やシステム管理者は、データの移行、更新、マスクなどの目的で、データストア間での複製を行うことがあります。事前調査、スキーマ変換、スクリプト変換、データ移行、機能試験、パフォーマンスのチューニング、その他のタスクが伴うデータ複製作業は、多くの組織にとって複雑で複数のフェーズが必要な作業となります。そのため、データ複製をサポートするいくつものツールが存在します。 AWS Database Migration Service (DMS) は、データベースを AWS に迅速かつ安全に移行するためのツールです。ソースのデータベースは移行処理中でも完全な機能を維持するので、アプリケーションの中断時間を最小にできます。AWS DMS を利用すると、オープンソースで広く使われている商用データベースとの間で、双方向のデータ移行が行えます。 同種間および異種間、両方の移行をサポートする AWS DMS では、高い可用性を維持したまま、データストア間でのデータ複製を持続的に実行できます。AWS DMS では、全ロードで変更がキャッシュされたデータを、データストア間で継続的に複製できます。 今回の記事では、グローバルなデータの移行や更新、マスキングを自動で行うソリューションをご紹介していきます。このソリューションでは、DMS、AWS Lambda、Amazon CloudWatch リソースなどを統合しながら、AWS CloudFormation スタックをデプロイします。DMS のレプリケーションタスクが、オンプレミスから AWS Cloud 上にあるデータストアへのデータ移行もしくは更新を行います。 今回のデモでは、オンプレミス側のデータベースとしては Amazon RDS for Oracle DB インスタンスを使い、クラウドデータベースとしては Amazon Aurora MySQL インスタンスを使います。DMS のイベントサブスクリプション機能を有効にしておくと、DMS のレプリケーションタスクはすべてのタスクイベントを、Amazon SNS トピックを使い通知するようになります。この SNS トピックは、サブスクライブした Lambda 関数へ通知されます。この Lambda 関数が CloudWatch Events のルールを有効化もしくは無効化した後、DMS のレプリケーションタスクをトリガーします。 ネットワーク上の問題を簡素化するため今回のソリューションでは、すべてのサポートサービスを 1 つの […]

Read More

AWS DMS 3.1.3 での Parquet データ形式のサポートの発表

本日、AWS DMS は、Apache Parquet データ形式で、AWS がサポートするソースから Amazon S3 へのデータの移行のサポートを発表しました。これは、DMS 3.1.3 の多数ある新機能の 1 つです。お客様の多くは、データレイクを構築するために DMS で「ターゲットとしての S3」サポートを利用しています。そして、このデータを Amazon EMR、Amazon Athena、Amazon Redshift Spectrum などの他の AWS のサービスと共に使用しています。そうした中、さまざまな形式で S3 への移行をサポートする方法が求められ、この機能が利用可能になりました。 この記事では、選択した S3 バケットおよびフォルダに、Parquet 形式のデータを移行するように DMS タスクを設定する方法を説明します。 概要 Apache Parquet は、効率的な圧縮およびエンコードスキームをサポートするように構築されています。複数のプロジェクトで、データに適切な圧縮およびエンコードスキームを適用することによるパフォーマンスへの影響が実証されています。Parquet は列ごとのレベルで圧縮スキームを指定することを可能にし、今後発明、実装されるより多くのエンコーディングを追加できることが将来的に保証されています。AWS DMS 3.1.3 では、Parquet 形式で S3 への移行をサポートできます。 ウォークスルー まず、適切な設定で S3 ターゲットエンドポイントを作成します。Parquet 形式のデータを移行するために必要な追加の接続属性を使用してこれを行うには、AWS CLI を使用する方法、DMS コンソールを使用する方法の 2 つの方法があります。 AWS CLI […]

Read More

Microsoft Excel を使用した AWS DMS タスクのための AWS CloudFormation テンプレートの作成

このブログ記事では、AWS Database Migration Service (AWS DMS) タスクのための AWS CloudFormation テンプレートの作成を自動化するツールについてお話します。DMS タスクのための CloudFormation テンプレートの作成方法をお探しで、CloudFormation に関する知識をお持ちでない場合は、ぜひこの記事をお読みください。

Read More

新しい Database Migration Playbook が公開されました—Microsoft SQL Server から Amazon Aurora MySQL への移行

このプレイブックは、AWS Schema Conversion Tool の自動変換機能に焦点を当て、自動変換プロセスの制限事項に対する代替方法について説明します。SQL Server と Aurora MySQL の違い、非互換性、類似点を中心に説明し、幅広い種類のトピックを網羅しています。そうしたトピックとしては、T-SQL、構成、高可用性と災害対策 (HADR)、インデックス作成、管理、パフォーマンスチューニング、セキュリティ、物理ストレージなどが含まれます。

Read More

2018 年に最もよく読まれた AWS データベースブログ

この記事では、私たちが 2018 年に掲載した AWS データブログ記事で、最もよく読まれた10本を紹介しています。このリストをガイドとして使って、まだ読んでいないデータベースブログに目を通す、または特に有益だと思った記事を読み返すことができます。

Read More

AWS Schema Conversion Tool で仮想パーティション分割を使用する

データウェアハウスの移行では、AWS SCT はデータベーススキーマを Amazon Redshift に移行するだけでなく、データを移行することもできます。この記事では、仮想パーティション分割を使用して AWS SCT でデータウェアハウスの移行を最適化する方法について検討します。仮想パーティション分割は、並列処理を使用することで大きなテーブルからのデータ抽出作業を高速化します。。

Read More

Intuit 社の導入事例: オンプレミス MySQL から Amazon Aurora への移行の自動化

Intuit社はレガシーデータセンターを売却し、顧客向けアプリケーションである QuickBooks、TurboTax、および Mint を AWS に移動させており、今後数年の間には完全に移行させる予定です。このブログ記事では、彼らがオンプレミスMySQLの移行先として、どのような基準で Amazon Aurora を選び、どのようにして最小限のダウンタイムで移行したのかについて共有されています。

Read More