Category: Migration and Transfer

最近のブログ記事の 1 つで、カンファレンスでの時間を最大限に活用できるように、re:Invent でのオールインストレージについてのガイドを共有しました。ブレークアウトセッション、チョークトーク、ビルダーセッション、ワークショップなど、スケジュールを埋める価値があるストレージに関するセッションは 150 以上あります。席の予約は、10 月 15 日に始まりました。すぐにお気に入りのセッションのスポットを予約して、re:Invent でバックアップとアーカイブのセッションを必ずチェックしましょう。 データのシームレスなバックアップとアーカイブを支援する、ストレージサービスやベストプラクティスに関する最新情報を共有できることを楽しみにしています。AWS ストレージサービスを初めて使用する場合でも心配する必要はありません。チョークトーク、ビルダーセッション、ワークショップなどで AWS のサービスを開始し、質問をすることができます。 バックアップおよびアーカイブの詳しいセッションを選択する前に、ストレージリーダーシップセッションの席を予約してください。 STG201-L – リーダーシップセッション: ストレージの一般教書演説: このリーダーシップセッションでは、すべての AWS ストレージサービスにわたる最新のイノベーションに注目します。AWS のオブジェクト、ファイル、ブロックストレージ、ならびにハイブリッド、エッジ、データ転送サービスの新機能をご覧ください。また、主要な AWS ストレージのお客様が、AWS ストレージを使用してビジネスに競争上の優位性をもたらす方法について講演します。 ブレークアウトセッション STG341 – AWS Backup の詳細: 完全マネージド型でポリシーベースのバックアップソリューションである AWS Backup の詳細を掘り下げます。AWS Backup を使用すると、AWS Storage Gateway によって、クラウド内の AWS のサービス全体とオンプレミスのアプリケーションデータを簡単かつ自動的にバックアップできます。AWS Backup を使用すると、Amazon EBS ボリューム、Amazon EC2 インスタンス、Amazon RDS データベースおよび Aurora クラスター、Amazon DynamoDB テーブル、Amazon EFS ファイルシステム、Storage Gateway […]

AWS ストレージチーム全体を代表して、re:Invent での計画についてすべてお伝えしたいと考えています。今年のカンファレンスは、ラスベガスストリップの 6 つの会場で、60,000 人以上の参加者を迎え 2,500 を超えるテクニカルセッションが行われ、これまでで最大のカンファレンスになる予定です。最初に、まだ登録されていない場合は、今すぐ登録してください。 登録したら、必ずお気に入りのセッションの座席を予約してください。おそらくストレージ関連になるでしょうが、分析、機械学習、ロボット工学セッションの一部もぜひご確認ください。 ストレージサービス全体で素晴らしいセッションがあり、新しいヒントやテクニック、ベストプラクティスを学び、最新のストレージのイノベーションがライブで発表される機会を十分に得ることができるでしょう。 re:Invent に一度も行ったことがないなら、re:Invent の活用方法の動画を参考にしてください。 re:Invent では本当に多くのことが行われているので、どのように時間を過ごすかを決定するのが難しい場合があります。 10 月 15 日に予約席が公開されることを忘れないでください。アカウントにログインし、セッションカタログにアクセスし、目的のセッションをマークすることで、いつでもスケジュールの計画立案を開始できます (リストを絞り込むのに役立つストレージフィルターを使用することをお勧めします)。日付、時刻、場所を含む完全なスケジュールも利用できます。 re:Invent のすべてのストレージセッションは、こちらをご覧ください プロ向けのヒント: 興味のあるトピックを検索し、参加を希望する可能性があるセッションの絞り込み/予約を開始します。ステップ 2 お気に入りの約 80% が分科会であることを確認してください。ステップ 3 お楽しみください。 中心となるトピックを探索し、セッションをお気に入りに追加したら、他のトピックも探索しましょう。 何が見つかるかわかりません。 ストレージリーダーシップセッション STG201-L – リーダーシップセッション: ストレージの一般教書演説: このリーダーシップセッションでは、すべての AWS ストレージサービスにわたる最新のイノベーションに注目します。AWS のオブジェクト、ファイル、ブロックストレージ、ならびにハイブリッド、エッジ、データ転送サービスの新機能をご覧ください。また、主要な AWS ストレージのお客様が、AWS ストレージを使用してビジネスに競争上の優位性をもたらす方法について講演します。 プロ向けのヒント: リーダーシップセッションは、AWS のリーダー達が AWS でこのトピックのビジョンと方向性を共有するトピックエリアの「一般教書演説」です。 分科会 講義スタイルで、時間は 60 分間です。こうしたセッションは、re:Invent のキャンパス全体で行われ、すべてのレベル (200–400) のすべてのトピックを扱います。セッションは、AWS の専門家、お客様、パートナーによって行われ、通常、最後に […]

当社は 2018 年 11 月に AWS Transfer for SFTP (AWS SFTP) サービスを開始し、それ以来多くの組織で採用され、 Amazon S3 でホストされるデータへの安全な SFTP アクセスを使用可能にしてきました。AWS では、当社のサービスを継続的に反復し、多くのお客様から、SFTPを接続したユーザーのために複数の S3 バケットやキーを統合された論理的ネームスペースにマッピングするオプションが欲しいというご希望をお話をされてきました。このニーズに応えるために、 当社は最近、「論理的ディレクトリ」と呼ばれる AWS SFTP の新機能を開始しました。この機能を使用して、お客様は S3 バケットパスを SFTP エンドユーザーに見ることができるようにする方法をカスタマイズすることができ、そのことにより、次のことが可能になります。 S3 バケットのファイルやフォルダーへのアクセス (例; サブスクリプションベースのアクセス) を容易に制限する 既存のアプリケーションとスクリプトで参照されたファイルおよびフォルダーを保存する ファイルのコピーを作成せずに複数のコンシューマーにファイルを配信する コンプライアンス/規制目的で SFTP エンドユーザーに S3 バケット名が表示されないようにする この記事では、論理ディレクトリを使用して、AWS SFTP を使用してサブスクライバーとデータを共有するための簡単なデータ配信サービスを実装する方法を示します。 簡単なデータ配信サービスの構築 「Bob」が SmartTrade という金融サービス組織のクラウドアーキテクトとして働いているとします。Bob はサブスクライバーが投資戦略を導くために財務データを利用できるようにするデータ配信サービスを構築しています。ユーザーは、サブスクリプションプロファイルに応じて、さまざまなデータセットにアクセスできます。また、ユーザーは権限をもつデータにのみアクセスできることを確認したいと思っています。 Bob のデータレポジトリは現在、「public-research」と「subscriptions」という名前の 2 つの S3 バケットの上に構築されています。各 SmartTrade […]

前回の記事、「Microsoft Excel を使用した AWS DMS タスクのための AWS CloudFormation テンプレートの作成」をさらに詳しく説明するこの記事では、データベース移行を迅速化することができる、同じツールの拡張機能を取り上げます。 この機能を実証するため、Python で記述された小型のコマンドラインツールをご紹介します。このツールは、入力としての使用するために、移行されるテーブルの名前、AWS DMS エンドポイントの Amazon リソースネーム (ARN)、および DMS レプリケーションインスタンスが含まれた CSV ファイルを取り込みます。正常に実行されたら、このツールは、必要な DMS タスクの AWS CloudFormation テンプレートを出力として生成します。ただし、このツールは DMS エンドポイントとレプリケーションインスタンスの作成には対応しません。 前提条件 このツールを使用するには、以下のリソースが必要となります。 Python (バージョン 2.7 以降)。Python 2.7.15 をインストールするには、Python.org のダウンロードページをご覧ください。 DMS のソースエンドポイントとターゲットエンドポイント、および DMS レプリケーションインスタンス。 CSV テンプレートの作成 最初に、作成する DMS タスクに関するすべての情報を CSV ファイルに取り込みます。以下は、DMS タスクを作成するために必要な項目のリストです。 DMS タスクの名前 ソースエンドポイント ターゲットエンドポイント 使用するレプリケーションインスタンス 移行するテーブルのスキーマ名 移行するテーブルの名前 […]

この記事は、AWSでパートナーソリューションアーキテクトを務めるKenney Antoney Rajanによるものです。 SAPのようなエンタープライズリソースプランニング (ERP)ソフトウェアを使用する多くの組織は、セキュアファイル転送プロトコル (SFTP)サーバーを稼働および保守して、ビジネス上の重要なデータをSAPから外部のパートナーシステムに安全に転送しています。この一連のブログ記事では、SAP Process Integration (SAP PI)とSAP Process Orchestration (SAP PO)、およびSAP Cloud Platform IntegrationとAWS Transfer for SFTP (AWS SFTP)を統合するための手順を紹介します。また、AWS SFTPがAmazon Simple Storage Service (Amazon S3)に格納するデータを後処理分析に使用する方法も紹介します。

AWS は最新の AWS Database Migration Service (AWS DMS) バージョン 3.1.3 の新しいデータ変換機能をサポートするようになりました。スキーマ、テーブル、および列の名前を変更し、Oracle ターゲットの個々の表領域名を指定し、そして任意のターゲット上のテーブルの主キーと一意キーを更新することができます。DMS バージョン 3.1.3 は、以下の新しいデータ変換機能をサポートしています。 明示的なテーブルマッピング Oracle のソースおよびターゲットの表領域の変換規則 Oracle のソースおよびターゲットの索引表領域の変換規則 主キーまたは一意キーのインデックスの定義 対象列のデータ型の変更 明示的なテーブルマッピング 以前の DMS バージョンでは、AWS マネジメントコンソールを使用してテーブルマッピングを実行したり、テーブル選択を指定したり、スキーマやテーブルのルールアクションを変換したりしていました。 バージョン 3.1.3 では、AWS DMS により明示的なテーブルの選択を行えます。明示的なテーブルマッピングルールを使用すると、サポートされている DMS ターゲットへの移行用に特定のソーステーブルを選択できます。また、より良い粒度のためにソースからテーブルのサブセットを除外します。明示的な選択規則を使用するときは、テーブルマッピングのスキーマ名とテーブル名にワイルドカード (％) を使用することはできません。 次の例では、ソースに 7 つのテーブルがあります。明示的な変換規則を使用すると、残りのテーブルを移行から除外する一方、DEPT テーブルのみを移行することを選択できます。 SQL> SELECT TABLE_NAME FROM INFORMATION_SCHEMA.TABLES WHERE TABLE_CATALOG LIKE %DEPT%’ TABLE_NAME —————————— HRDEPT DEVDEPT SUPPORTDEPT PMDEPT […]

ウェブアプリケーションアーキテクチャの一般的なパターンには、アプリケーションデータを検索するための検索エンジンと対になったアプリケーションデータ用データベースが含まれます。多くのリレーショナルデータベース、さらには非リレーショナルデータベースにも、基本的な検索機能が提供されています。しかし、検索エンジンには、他のデータベースに対し、関連性とブール式による、真の、複雑な、自然言語による検索機能が搭載されています。Werner Vogels が最近指摘したように、万能のデータベースは存在しないのです。ユーザーは信頼できるデータの情報源としてリレーショナルデータベースまたは NoSQL データベースを使用し、そのデータを検索するために検索エンジン (データベース) を使用します。 お使いのデータベースからどのようにデータを Amazon Elasticsearch Service (Amazon ES) へ移し、2 つのシステム間でそれらをどのように同期しますか? ごく最近まで、スクリプトを書くか、Amazon ES を使用してデータベースをブートストラップし、同期をとるために、パイプラインを増やす必要がありました。2018 年 11 月、AWS Database Migration Service (AWS DMS) で、Amazon ES をデータベースマイグレーションのターゲットとするサポートが追加されました。AWS DMS を使用することで、データを Amazon ES へブートストラップし、DMS の変更データキャプチャ (CDC) 機能で両システムを同期できます。 本記事では、DMS タスクの処理に Amazon ES ドメインで十分なリソースを確保するためにおすすめの基準をご紹介します。しかし、あらゆるおすすめの基準と同じで、ここで触れる内容も一般論に過ぎません。データの使用量はユーザーごとに異なるためです。 AWS DMS のタスク設定パラメータ AWS DMS で Elasticsearch のターゲットを使用する場合、サポートされている任意のソースから Amazon ES へデータを移動するのはシンプルな処理です。必要なデータをすばやく安全に移行できます。Amazon ES ドメインにデータベースのテーブルまたはビューをレプリケートできます。全ロードフェーズで、ソースデータベースにある既存データのすべてがレプリケートされます。データベースの継続的な変更は、CDC […]

移行は複数のフェーズがあるプロセスで、実行する移行のタイプに応じて異なるステップが関わってきます。AWS Schema Conversion Tool (AWS SCT) レポートの活用とパートナーとの協力によって、その作業の 50 パーセント以上を自動化することができますが、それでもまだ残っている多くの作業を行う必要があります。そこで役立つのが Workload Qualification Framework (WQF) です。 この記事では、お客様のエンタープライズインフラストラクチャを移行するプロセス全体の分析に役立つ、AWS SCT のための WQF モジュールをご紹介します。WQF は、移行戦略がある場合はそれを推奨し、適切な移行ツールを提示します。また、これらの情報を明確に伝達します。 WQF は、OLTP と OLAP の各ワークロードを評価して分類する援助を行うソリューションアーキテクト、パートナー、およびコンサルタントのために設計されています。WQF は、移行の容易さ、スタッフの時間消費、および AWS のサービスにおける適切な対象サービスを判断する助けになります。 以下の図は、AWS SCT と併せて WQF を使用する場合のプロセスの概要を示したものです。 WQF は移行プロセスの計画フェーズ中に、データとそのデータを使うアプリケーションの移行に何が必要になるかを判断するために使用できます。WQF レポートは、以下を実行することによってユーザーを助けます。 以下によるワークロードの評価と各ワークロードのスコア付け。 専有機能の評価 複雑性 サイズ 使用されるテクノロジー 移行戦略の推奨 移行ツールの推奨 移行エンジニアが活用するための明瞭なフィードバックの提供 これらに加えて、WQF は AWS Data Migration Service (AWS DMS) とも統合されています。 WQF は […]

企業は年々データが急激に増加するのを目の当たりにしています。データベースとハードウェアインフラストラクチャをスケーリングし続けることは、ますます困難になっています。ワークロードが非リレーショナルデータストアに適していない場合に、基盤となるインフラストラクチャの管理に膨大な費用を費やすことなく、スケーリングの課題をどのように克服したらいいでしょうか? Amazon RDS for PostgreSQL と Amazon Aurora with PostgreSQL により、コスト効率の高い方法で PostgreSQL クラウドのデプロイを簡単にセットアップ、運用、拡張することができます。昨年、私たちは (数百 GB から数 TB に及ぶ) 100 を超える Oracle データベースを Amazon Aurora PostgreSQL と Amazon RDS for PostgreSQL に移行しました。 この記事では、移行中に持ち上がった最も一般的な問題のいくつかについて説明します。皆さんは AWS Database Migration Service (AWS DMS) を使用して、あるデータベースから別のデータベースにデータを移動させた経験があることでしょう。私も AWS Schema Conversion Tool (AWS SCT) をかなり使い込みました。手始めに、データ抽出プロセスで直面する可能性のある問題を取り上げます。次に、データの移行中に起こる問題について取り上げます。最後に、移行後に PostgreSQL で観察するパフォーマンスの問題について説明します。 抽出フェーズの問題 このフェーズで一般的に直面する問題は、大きなテーブルのデータ抽出が遅くなり、ソース DB で ORA-01555 エラー (スナップショットが古すぎます) […]

AWS Database Migration Service (AWS DMS)の新しいターゲットをさらに—Amazon Elasticsearch Serviceへの新しいターゲットの追加を発表しました。これで、AWS DMSでサポートされているすべてのソースからAmazon Elasticsearch Service にデータを移行できます。この新しいターゲットのサポートで、データ統合パイプラインで DMSを使用し、ほぼリアルタイムで Amazon Elasticsearch Serviceにデータを複製できます。 Amazon Elasticsearch Serviceは、大規模かつ簡単にElasticsearchの展開、保護、操作が可能な完全に管理されたサービスです。本サービスは、オープンソースのElasticsearch API操作、管理されたKibana、およびLogstashと他のAWS serviceとの統合を提供します。これらの機能を使用すると、ログ分析、全文検索、アプリケーション監視、およびセキュリティ解析のユースケースをリアルタイムで検索、分析、視覚化することができます。 Amazon Elasticsearch Serviceを使用した検索は強力ですが、複数のデータストアからAmazon Elasticsearch Serviceへのデータの簡単な取得が可能にすることを考えていました。当社はある時点からのバルクデータのロードの可能性の確認を願っていました。また、必要に応じて転送中のデータの結合とマッピングを完全にサポートし、変更データがほぼリアルタイムで複製されるようにしたいと思っていました。AWS DMS は、現在 サポートされているソース からどのデータの移行にも役立ちます。DMSを使用すれば、必要なデータをより迅速かつ安全に移行できます。 データの分析と処理を実行したり、または電子商取引や検索サービスのビジネスに携わっている多くの大企業や技術ベンチャーは、すべてデータに関連しています。巨大なデータベースで直面する最も一般的な問題は、製品情報を検索する際の待ち時間に関連したものです。この遅延は、ユーザーエクスペリエンスの低下につながり、見込み客にそっぽを向かれることになります。データ量が増えるにつれて、大きなウェブページの応答時間の提供はさらに困難になっています。ユースケースはますます複雑になり、組織は数百万件、時には数十億件のデータベース記録を管理しているにもかかわらずつ、わずかなページの読み込み時間しか提供していません。この問題は、大きなデータセットの検索とフィルタリングによって悪化します。複雑で動的なフィルタを使用しても、数十億の記録をめくるために関連データベース（Oracle、SQL Serverなど）を拡張するには、多くの専門知識を必要とします。 今日のビジネスには、迅速に検索を促進するためにデータが格納される場所の代替案を探しています。これは、データの格納に関連データベースではなく、NoSQLを採用することで実現できます。Amazon Elasticsearchは、フルテキストの分散型NoSQLデータベースです。つまり、スキーマや表ではなく文書を使用するので、データのリアルタイム検索と分析が可能となります。人がこのシステムを高く評価しているのは、データに基づいた測定基準が即座に実行可能であるため、継続的に即座に理解できるためです。 以下は、Elasticsearchが性能に適している使用例です。 すべての行を索引付けし、これらのフィールドのブール値の組み合わせでフィールド検索を提供する 関連するフリーテキスト検索を提供する自然言語テキストによるネイティブ処理 関連した結果の提供 オートコンプリートと検索候補の提供 ファセット加工とファセットドリルダウンをサポート 地元検索のためのサポート日とGEOの場所 Amazon Elasticsearch Serviceは、検索エンジンの最良の情報に基づいて記録とソートされた結果を提供し、一般には素晴らしいです。おおよその回答を見つけることは、より伝統的なデータベースからAmazon ESを差別化するプロパティです。 要約すると、AWSは皆様のユースケースと要件に合わせたアプリケーションとデータベースの再構築の支援を目的としています。AWS DMSを使用してAmazon ESにデータの移行と複製のためのサポートの追加により、柔軟性は向上します。また、RDBMSからAmazon ESへのデータの移行の際に提供するアプローチは、あまり複雑ではありません。 Amazon Elasticsearch Serviceをターゲットとしてサポートする機能の一部は、以下のとおりです。 Amazon Elasticsearch Serviceの全バージョンがサポートされています。この文書に詳細があります。 […]