Category: Migration and Transfer

  AWS DataSync は、セルフマネージドのオブジェクトストレージとの間の転送をサポートするようになりました! 🎉 この新機能により、オンプレミスのオブジェクトストレージと AWS Cloud Storage との間で大量のデータを簡単に自動コピーできるようになります。 AWS DataSync について AWS DataSync を使用したことがない方は、このサービスをどのように活用するかについてご関心があることでしょう。 AWS DataSync を使用すると、オンプレミスストレージと AWS Cloud Storage との間で大量のデータを簡単かつ迅速に移動できます。AWS DataSync は、データ転送プロセスの管理と、高性能で安全なデータ転送に必要なインフラストラクチャの両方を自動化することで、データの移動を容易にします。以下の画像は、AWS DataSync を使用して、オンプレミスストレージシステムと Amazon S3、Amazon EFS、Amazon FSx for Windows ファイルサーバーとの間でデータを迅速かつ効率的に移動する方法を示しています。     デモを見てみましょう… デモの準備はよろしいでしょうか? 私は準備万端です! 😁 AWS コンソールにアクセスして、AWS DataSync を検索してみましょう。   [Get Started] (今すぐ始める) をクリックします。 このブログ投稿においては、すでにエージェントを作成したと仮定します。エージェントを作成し、送信元と送信先を設定したら、次のステップではタスクを作成します。 オンプレミスのオブジェクトストレージシステムから AWS にファイルを転送するタスクを設定したいと考えています。これを行うには、[Create Task] (タスクの作成) […]

本日、Amazon Database Migration Accelerator (DMA) をローンチしたことを発表します。Amazon DMA では、AWS Database Migration Service (DMS)、AWS Schema Conversion Tool (SCT)、AWS データベース移行エキスパートを活用することで、従来の商用データベースから固定料金で移行することができます。ローンチ時点の Amazon DMA では、Oracle や SQL Server から Amazon Aurora または Amazon Relational Database Service (RDS) for PostgreSQL/MySQL への移行が可能です。ソースおよびターゲットとして対応するデータベース、データウェアハウス、分析システムは、Amazon DMA の今後の拡張に伴い、順次追加されていく予定です。詳細については、Amazon Database Migration Accelerator のページをご覧ください。 Amazon DMA を選ぶ理由 多くのお客様から、従来のデータベースの移行はとてつもなく労力がかかるうえ、しばしば予算超過や遅延が発生してしまうというフィードバックが寄せられています。そうした問題は、データベースエンジン間でのアプリケーションのリファクタリングが時間がかかり、技術的に困難であることが原因です。データベース移行に取り組むエンジニアには、ソースおよびターゲット両方のデータベースを深く知っていることに加え、さまざまなプログラミングフレームワークにも精通していることが求められます。しかし、多くの組織が、収益を生み出す、顧客に向けたプロジェクトにこそ、こうしたエキスパートエンジニアを充てたいと考えています。 Amazon DMA が従来の移行プロジェクトと異なる点 Amazon DMA では固定料金での移行が可能です。移行の完了後に支払いができるため、予算超過のリスクが軽減されます。また、AWS DMS、AWS SCT、移行エキスパートに加え、Amazon のエンジニアが社内システムの AWS […]

AWS Database Migration Service (DMS) を使用してデータベースを新しいシステムに移行する場合、新しいシステムが想定どおりに機能しない場合に備えてフォールバック戦略を立てることが賢明です。概要として、移行からロールバックするためには、4 つの基本的な戦略があります。すなわち、基本的なフォールバック、フォールフォワード、デュアル書き込み、双方向レプリケーションです。特定の状況に応じて、これらの戦略の 1 つまたは複数を用いることができる場合があります。 この投稿では、各戦略を定義し、その戦略が適切であると思われる状況の概要を説明します。一般的には、データベースシステムの整合性を維持しながら、最小限の労力とコストを必要とする戦略または戦略の組み合わせをデプロイすべきです。 基本的なフォールバック ソース A からターゲット B に移行する場合の最も簡単なフォールバック戦略は、アプリケーションを元のソース A に戻すことです。この戦略は、あまり生じないかもしれませんが、以下の状況では合理的です。 読み取り専用システムを移行していて、新しいターゲットが新しいトランザクションを取得していない。 システムは「バッチ」タイプのシステムであり、新しいターゲットにまだトランザクションを適用していない。 古いシステムにロールバックした後は、新しいシステムでトランザクションを使用する必要がいない。(一部のロギングシステムはこのパターンである場合があります。) ロールバックの前または後に、新しいシステムで使用されたトランザクションを元のシステムに再生成またはコピーすることができる。(ロギングシステムまたは挿入のみのシステムは、このパターンである場合があります。) 元のシステムにロールバックした後、新しいシステムにトランザクションを適用する必要はない。 カットオーバーの前に、DMS タスクはデータを A から B にレプリケートします。B に「フリップ」されるアプリケーションは、引き続き A とインタラクションします。次の図は、このアーキテクチャを示しています。 カットオーバー時にレプリケーションタスクが停止し、アプリケーションがフリップされて B とインタラクションします。次の図は、この変更を示しています。 ロールバックが必要な場合、アプリケーションはフリップされて A に戻ります。B のカットオーバー後に発生した変更は、無視され、または失われます。下図を参照してください。 デュアル書き込み 場合によっては、移行の一環として、デュアル書き込み戦略が使用されます。たとえば、データベース A をデータベース B に移行する場合の状況を考えてみます。デュアル書き込み戦略では、両方のデータベースにトランザクションを同時に書き込むことができるようにアプリケーションコードを変更します。デュアル書き込み戦略の採用は、アプリケーションへの (通常は重要な) 変更を伴うため、より複雑で時間のかかるフォールバックアプローチの 1 つです。ただし、ターゲットデータベース B への書き込みを停止するだけなので、デュアル書き込み構成からのフォールバックは簡単です。次の状況では、デュアル書き込み戦略が適切な場合があります。 データが (おそらく顧客ごとに) 分割されており、アプリケーションの移行に段階的なアプローチを採用している。このシナリオでは、DMS を使用して新しいターゲットをハイドレートし、ソースと同期させます。カットオーバーでは通常、デュアル書き込み機能を有効にし、DMS […]

このシリーズ記事の第1回では、 SAP PI / POシステムとAWS Transfer for SFTP (AWS SFTP)を統合する方法、またAWS SFTPがAmazon S3に保存したデータを後処理分析に使用する方法を紹介しました。今回の記事では、SAP Cloud Platform Integration (SAP CPI)とAWS SFTPを統合し、第1回で紹介したAWS分析ソリューションを後処理分析に使用する方法を示します。

最近のブログ記事の 1 つで、カンファレンスでの時間を最大限に活用できるように、re:Invent でのオールインストレージについてのガイドを共有しました。ブレークアウトセッション、チョークトーク、ビルダーセッション、ワークショップなど、スケジュールを埋める価値があるストレージに関するセッションは 150 以上あります。席の予約は、10 月 15 日に始まりました。すぐにお気に入りのセッションのスポットを予約して、re:Invent でバックアップとアーカイブのセッションを必ずチェックしましょう。 データのシームレスなバックアップとアーカイブを支援する、ストレージサービスやベストプラクティスに関する最新情報を共有できることを楽しみにしています。AWS ストレージサービスを初めて使用する場合でも心配する必要はありません。チョークトーク、ビルダーセッション、ワークショップなどで AWS のサービスを開始し、質問をすることができます。 バックアップおよびアーカイブの詳しいセッションを選択する前に、ストレージリーダーシップセッションの席を予約してください。 STG201-L – リーダーシップセッション: ストレージの一般教書演説: このリーダーシップセッションでは、すべての AWS ストレージサービスにわたる最新のイノベーションに注目します。AWS のオブジェクト、ファイル、ブロックストレージ、ならびにハイブリッド、エッジ、データ転送サービスの新機能をご覧ください。また、主要な AWS ストレージのお客様が、AWS ストレージを使用してビジネスに競争上の優位性をもたらす方法について講演します。 ブレークアウトセッション STG341 – AWS Backup の詳細: 完全マネージド型でポリシーベースのバックアップソリューションである AWS Backup の詳細を掘り下げます。AWS Backup を使用すると、AWS Storage Gateway によって、クラウド内の AWS のサービス全体とオンプレミスのアプリケーションデータを簡単かつ自動的にバックアップできます。AWS Backup を使用すると、Amazon EBS ボリューム、Amazon EC2 インスタンス、Amazon RDS データベースおよび Aurora クラスター、Amazon DynamoDB テーブル、Amazon EFS ファイルシステム、Storage Gateway […]

AWS ストレージチーム全体を代表して、re:Invent での計画についてすべてお伝えしたいと考えています。今年のカンファレンスは、ラスベガスストリップの 6 つの会場で、60,000 人以上の参加者を迎え 2,500 を超えるテクニカルセッションが行われ、これまでで最大のカンファレンスになる予定です。最初に、まだ登録されていない場合は、今すぐ登録してください。 登録したら、必ずお気に入りのセッションの座席を予約してください。おそらくストレージ関連になるでしょうが、分析、機械学習、ロボット工学セッションの一部もぜひご確認ください。 ストレージサービス全体で素晴らしいセッションがあり、新しいヒントやテクニック、ベストプラクティスを学び、最新のストレージのイノベーションがライブで発表される機会を十分に得ることができるでしょう。 re:Invent に一度も行ったことがないなら、re:Invent の活用方法の動画を参考にしてください。 re:Invent では本当に多くのことが行われているので、どのように時間を過ごすかを決定するのが難しい場合があります。 10 月 15 日に予約席が公開されることを忘れないでください。アカウントにログインし、セッションカタログにアクセスし、目的のセッションをマークすることで、いつでもスケジュールの計画立案を開始できます (リストを絞り込むのに役立つストレージフィルターを使用することをお勧めします)。日付、時刻、場所を含む完全なスケジュールも利用できます。 re:Invent のすべてのストレージセッションは、こちらをご覧ください プロ向けのヒント: 興味のあるトピックを検索し、参加を希望する可能性があるセッションの絞り込み/予約を開始します。ステップ 2 お気に入りの約 80% が分科会であることを確認してください。ステップ 3 お楽しみください。 中心となるトピックを探索し、セッションをお気に入りに追加したら、他のトピックも探索しましょう。 何が見つかるかわかりません。 ストレージリーダーシップセッション STG201-L – リーダーシップセッション: ストレージの一般教書演説: このリーダーシップセッションでは、すべての AWS ストレージサービスにわたる最新のイノベーションに注目します。AWS のオブジェクト、ファイル、ブロックストレージ、ならびにハイブリッド、エッジ、データ転送サービスの新機能をご覧ください。また、主要な AWS ストレージのお客様が、AWS ストレージを使用してビジネスに競争上の優位性をもたらす方法について講演します。 プロ向けのヒント: リーダーシップセッションは、AWS のリーダー達が AWS でこのトピックのビジョンと方向性を共有するトピックエリアの「一般教書演説」です。 分科会 講義スタイルで、時間は 60 分間です。こうしたセッションは、re:Invent のキャンパス全体で行われ、すべてのレベル (200–400) のすべてのトピックを扱います。セッションは、AWS の専門家、お客様、パートナーによって行われ、通常、最後に […]

前回の記事、「Microsoft Excel を使用した AWS DMS タスクのための AWS CloudFormation テンプレートの作成」をさらに詳しく説明するこの記事では、データベース移行を迅速化することができる、同じツールの拡張機能を取り上げます。 この機能を実証するため、Python で記述された小型のコマンドラインツールをご紹介します。このツールは、入力としての使用するために、移行されるテーブルの名前、AWS DMS エンドポイントの Amazon リソースネーム (ARN)、および DMS レプリケーションインスタンスが含まれた CSV ファイルを取り込みます。正常に実行されたら、このツールは、必要な DMS タスクの AWS CloudFormation テンプレートを出力として生成します。ただし、このツールは DMS エンドポイントとレプリケーションインスタンスの作成には対応しません。 前提条件 このツールを使用するには、以下のリソースが必要となります。 Python (バージョン 2.7 以降)。Python 2.7.15 をインストールするには、Python.org のダウンロードページをご覧ください。 DMS のソースエンドポイントとターゲットエンドポイント、および DMS レプリケーションインスタンス。 CSV テンプレートの作成 最初に、作成する DMS タスクに関するすべての情報を CSV ファイルに取り込みます。以下は、DMS タスクを作成するために必要な項目のリストです。 DMS タスクの名前 ソースエンドポイント ターゲットエンドポイント 使用するレプリケーションインスタンス 移行するテーブルのスキーマ名 移行するテーブルの名前 […]

この記事は、AWSでパートナーソリューションアーキテクトを務めるKenney Antoney Rajanによるものです。 SAPのようなエンタープライズリソースプランニング (ERP)ソフトウェアを使用する多くの組織は、セキュアファイル転送プロトコル (SFTP)サーバーを稼働および保守して、ビジネス上の重要なデータをSAPから外部のパートナーシステムに安全に転送しています。この一連のブログ記事では、SAP Process Integration (SAP PI)とSAP Process Orchestration (SAP PO)、およびSAP Cloud Platform IntegrationとAWS Transfer for SFTP (AWS SFTP)を統合するための手順を紹介します。また、AWS SFTPがAmazon Simple Storage Service (Amazon S3)に格納するデータを後処理分析に使用する方法も紹介します。

AWS は最新の AWS Database Migration Service (AWS DMS) バージョン 3.1.3 の新しいデータ変換機能をサポートするようになりました。スキーマ、テーブル、および列の名前を変更し、Oracle ターゲットの個々の表領域名を指定し、そして任意のターゲット上のテーブルの主キーと一意キーを更新することができます。DMS バージョン 3.1.3 は、以下の新しいデータ変換機能をサポートしています。 明示的なテーブルマッピング Oracle のソースおよびターゲットの表領域の変換規則 Oracle のソースおよびターゲットの索引表領域の変換規則 主キーまたは一意キーのインデックスの定義 対象列のデータ型の変更 明示的なテーブルマッピング 以前の DMS バージョンでは、AWS マネジメントコンソールを使用してテーブルマッピングを実行したり、テーブル選択を指定したり、スキーマやテーブルのルールアクションを変換したりしていました。 バージョン 3.1.3 では、AWS DMS により明示的なテーブルの選択を行えます。明示的なテーブルマッピングルールを使用すると、サポートされている DMS ターゲットへの移行用に特定のソーステーブルを選択できます。また、より良い粒度のためにソースからテーブルのサブセットを除外します。明示的な選択規則を使用するときは、テーブルマッピングのスキーマ名とテーブル名にワイルドカード (％) を使用することはできません。 次の例では、ソースに 7 つのテーブルがあります。明示的な変換規則を使用すると、残りのテーブルを移行から除外する一方、DEPT テーブルのみを移行することを選択できます。 SQL> SELECT TABLE_NAME FROM INFORMATION_SCHEMA.TABLES WHERE TABLE_CATALOG LIKE %DEPT%’ TABLE_NAME —————————— HRDEPT DEVDEPT SUPPORTDEPT PMDEPT […]

ウェブアプリケーションアーキテクチャの一般的なパターンには、アプリケーションデータを検索するための検索エンジンと対になったアプリケーションデータ用データベースが含まれます。多くのリレーショナルデータベース、さらには非リレーショナルデータベースにも、基本的な検索機能が提供されています。しかし、検索エンジンには、他のデータベースに対し、関連性とブール式による、真の、複雑な、自然言語による検索機能が搭載されています。Werner Vogels が最近指摘したように、万能のデータベースは存在しないのです。ユーザーは信頼できるデータの情報源としてリレーショナルデータベースまたは NoSQL データベースを使用し、そのデータを検索するために検索エンジン (データベース) を使用します。 お使いのデータベースからどのようにデータを Amazon Elasticsearch Service (Amazon ES) へ移し、2 つのシステム間でそれらをどのように同期しますか? ごく最近まで、スクリプトを書くか、Amazon ES を使用してデータベースをブートストラップし、同期をとるために、パイプラインを増やす必要がありました。2018 年 11 月、AWS Database Migration Service (AWS DMS) で、Amazon ES をデータベースマイグレーションのターゲットとするサポートが追加されました。AWS DMS を使用することで、データを Amazon ES へブートストラップし、DMS の変更データキャプチャ (CDC) 機能で両システムを同期できます。 本記事では、DMS タスクの処理に Amazon ES ドメインで十分なリソースを確保するためにおすすめの基準をご紹介します。しかし、あらゆるおすすめの基準と同じで、ここで触れる内容も一般論に過ぎません。データの使用量はユーザーごとに異なるためです。 AWS DMS のタスク設定パラメータ AWS DMS で Elasticsearch のターゲットを使用する場合、サポートされている任意のソースから Amazon ES へデータを移動するのはシンプルな処理です。必要なデータをすばやく安全に移行できます。Amazon ES ドメインにデータベースのテーブルまたはビューをレプリケートできます。全ロードフェーズで、ソースデータベースにある既存データのすべてがレプリケートされます。データベースの継続的な変更は、CDC […]