Amazon Web Services ブログ

 9.4 より前の PostgreSQL を使用している場合、サポートされていない PostgreSQL バージョンを使用していることになります。Amazon RDS または Amazon Aurora PostgreSQL でデータベースを移行または複製するためのオプションが制限されている場合があります。これは主に、9.4 よりも古いバージョンの PostgreSQL では論理複製を実行できないのが原因です。 Bucardo は、データの変更を非同期で複数のセカンダリまたは複数のマスターに複製できるオープンソースユーティリティです。これはトリガーベースのレプリケーションであり、より広範囲の移行や継続的なレプリケーションに対して一貫性と安定性が実証されています。Bucardo は、プライマリキーなしでテーブルの全ロードを実行できます。ただし、デルタデータの変更をプライマリから複製するには、セットアップを開始する前にプライマリキーを作成します。 この記事では、Bucardo をセットアップし、PostgreSQL 8.4 から PostgreSQL 9.6 にデータ変更を複製する方法を示しています。 前提条件 開始する前に、次のものが必要です。 Bucardo 用 Ubuntu 16.04 を使用する 1 つの EC2 インスタンス (Bucardo サーバー: 172.31.88.4) PostgreSQL 8.4.2 で RHEL 6 を使用する 1 つの EC2 インスタンス (PostgreSQL 8.4.2: 172.31.16.177) us-east-1 に […]

 本日、新しい AWS 認定データベース – 専門認定を発表します。これは、パフォーマンスの向上、コストの削減、革新を可能にする最適な AWS データベースソリューションを推奨、設計、保守することに関する個人の専門知識を確認するものです。この認定は、AWS 専用データベースの技術スキルを確認した最初の認定です。 新しい AWS 認定を創造するため、AWS は経験豊富な専門家と協力して、関連する役割または技術トピックの能力の基準を設定しています。この内容領域専門家は、認定を取得することで知識とスキルがあることを明確にします。シニアデータおよび情報アーキテクトの Neil Lesile 氏とシニアテクニカルプログラムマネージャーの Brian Millard 氏(両者 GE Core Technology) は、AWS データベースの内容領域専門家 (SME) として認定の開発に貢献しました。 Millard 氏は次のように述べています。「この認定は、クラウドデータベースの専門家として人を引き立てることができます。私たちの組織にとって、確固たる尊敬されるクラウドベースのチームを構築するには、認定で取り扱うスキルが必要です」 Leslie 氏は、この新しい認定により、「企業はデータベースの人材を簡単に特定し、データを保護し、変革の過程のコストを最小限に抑えるための適切な意思決定を確実に行えるようになります」と述べています。 データベースの経験と知識の深さは、拡張性やセキュリティなどの要件を満たすことができるチームを備え、ワークロードに適したデータベースを自信を持って選択したい AWS のお客様とパートナーにとって重要な能力です。 この認定は、さまざまなリレーショナルデータベースおよび非リレーショナルデータベースの専門知識を確認した最初の認定です。Esteh の所有者である Goran Opacic 氏は、さまざまな AWS データベースの経験に価値があると考えています。「長年、1 つのデータベースですべてのデータの問題を解決しようとしてきました。AWS は、同じセキュリティモデル、移行ツール、SDK などを使用して、これらの製品を 1 つのソリューションに混在させるのがいかに簡単かという点で目を開かせてくれました。そしてこれらが、AWS 認定データベース – 専門認定で成功するために必要なスキルです」 Opacic 氏はまた、AWS User Group Belgrade のコミュニティリーダーで、AWS データヒーローズの […]

 Amazon DocumentDB (MongoDB 互換) は、MongoDB のワークロードをサポートする高速でスケーラブル、かつ可用性に優れた完全マネージド型のドキュメントデータベースサービスです。ドキュメントデータベースである Amazon DocumentDB は、JSON データの保存、クエリ、およびインデックスを容易にします。Amazon DocumentDB には MongoDB 3.6 のドライバおよびツールとの互換性があります。現在すでに MongoDB データベースで使用しているアプリケーション、ドライバ、およびツールの多くは、変更なし、またはわずかな変更のみで Amazon DocumentDB で使用することができます。 このブログ記事では、皆さんが Amazon DocumentDB ですばやくランプアップできるように、最もよく質問されるトピックに関する簡単な概要とリソース一式を提供します。 Amazon DocumentDB とは何ですか? Amazon DocumentDB の使用を開始する方法を教えてください Amazon DocumentDB で構築およびスケールするにはどうすればよいですか? Amazon DocumentDB に移行するにはどうすればよいですか? 誰が Amazon DocumentDB を利用していますか? Amazon DocumentDB の最新情報を常に把握しておくにはどうすればよいですか? Amazon DocumentDB とは何ですか? Amazon DocumentDB がユニークなデータベースである理由、そしてそのクラウドネイティブなアーキテクチャがストレージとコンピューティングを分離させてすばやいスケーリングを可能にする方法の詳細については、以下のリソースにアクセスしてください。 Amazon DocumentDB ディープダイブ (re:Invent 2019 […]

 Amazon Aurora (PostgreSQL 互換) は、高性能商用データベースのパフォーマンスと可用性、そしてオープンソースデータベースのシンプルさとコスト効率性を兼ね備えています。Aurora は、同じリージョン内の 3 つのアベイラビリティーゾーンにストレージをスケールすることでこれを実現し、単一リージョン内で読み込みワークロードと高可用性をスケールアウトするために最大 15 個のリードレプリカをサポートします。Amazon Aurora Global Database では、リージョン全体で障害が発生した場合におけるリモート読み込みアクセスと災害復旧のために、最大 5 つのリージョンに PostgreSQL データベースをレプリケートできるようになりました。 Aurora は、保護グループと呼ばれる 10 GB の論理ブロックにストレージボリュームを構築しています。Aurora は、同じリージョン内の 3 つのアベイラビリティーゾーン (AZ) にまたがって割り当てられている 6 個のストレージノード (AZ ごとに 2 個) 全体に各保護グループをレプリケートします。データのボリュームが現在割り当てられているストレージを超えると、Aurora は必要に応じて新しい保護グループを追加することによってボリュームを拡大し、需要を満たします。 Aurora Global Database とは? 複数のリージョンにまたがる Aurora Global Database は、リージョン全体の障害からの災害復旧を実現し、最も近い位置にある Aurora クラスターからの読み込みを許可することによって、低レイテンシーのグローバル読み込みを可能にします。 Aurora の機能として、Global Database は Aurora のストレージレイヤーにある専用のインフラストラクチャを使用して、リージョン間のレプリケーションを処理します。レプリケーションはストレージレイヤー内の専用レプリケーションサーバーが処理するため、データベースのパフォーマンスを損なうことなく高度な復旧および可用性目標を達成できます。 PostgreSQL […]

 クラウドベースのストレージを活用するために、オンプレミスの Network Attached Storage (NAS) をクラウドに移行したいと考えるお客様が増えています。これらの多くのお客様の環境は混在しており、Windows と Linux オペレーティングシステムを組み合わせたワークステーションを使用しています。Windows オペレーティングシステムを使用する従業員にとって一般的なアプローチは、コンピュータを Active Directory に参加させ、ファイル共有を使用して共有ストレージにアクセスすることです。Active Directory は、ネットワーク内のデバイスへのアクセスとアクセス許可を管理できる Microsoft のディレクトリサービスです。コンピュータを Active Directory に参加させると、Active Directory を介した認証が可能になるだけでなく、共有ファイルシステムに対する適切なアクセス許可も付与されます。 Amazon FSx for Windows File Server (Amazon FSx) は、SMB プロトコルを完全にサポートすることにより、Windows と Linux の混在環境からアクセスできるようにします。これには、Linux SMB クライアントを使用した Linux からのアクセスも含まれます。お客様は共有ファイルストレージをクラウドに簡単に移動でき、AWS でフルマネージド型のネイティブ Windows ファイルサーバーをご利用いただけます。セットアップとプロビジョニング、レプリケーション、フェイルオーバー、およびメンテナンスを自動的に処理します。さらに、オンプレミス統合とクラウド内の両方で、SMB プロトコル、Windows NTFS、および Active Directory 統合をサポートしています。 お客様には、次のようなさまざまなユースケースで Amazon FSx をご利用いただいております。 ホームディレクトリ エンタープライズビジネスアプリケーション コンテンツ管理 […]

 Amazon SageMaker は、開発者やデータサイエンティストがあらゆる規模の機械学習 (ML) モデルを迅速かつ簡単に構築、トレーニング、デプロイできるようにする完全マネージド型サービスです。教師ありおよび教師なし学習手法をより一般的に使用した機械学習モデルの構築に加えて、Amazon SageMaker 強化学習を使用して強化学習 (RL) モデルを構築することもできます。 Amazon SageMaker 強化学習には、強化学習の開始を容易にする、事前に構築された強化学習ライブラリとアルゴリズムが含まれています。詳細については、Amazon SageMaker 強化学習 – Amazon SageMaker での管理強化学習を参照してください。Amazon SageMaker 強化学習を使用すると、AWS RoboMaker、Open AI Gym、オープンソース環境、強化学習モデルをトレーニングするためのカスタムビルド環境など、さまざまなシミュレーション環境と簡単に統合できます。また、Open AI Gym、Intel Coach、および Berkeley Ray RLLib を含む Amazon 強化学習コンテナ (MXNet および TensorFlow) を使用することもできます。 この記事では、Amazon SageMaker 強化学習を使用してバッチ強化学習 (バッチ RL) の実装方法を示しています。ここでは、学習経験量の全部 (通常、システムからサンプリングされた一連の移行) が事前に提供されます。この手法では、以前のポリシーから一連の状態とアクション移行を収集し、それらを使用して、環境と相互作用せずに新しい強化学習ポリシーをトレーニングする必要があります。 この記事では、Amazon SageMaker 強化学習を使用して、初期ランダムポリシーからオフラインデータを収集し、オフラインデータで強化学習ポリシーをトレーニングし、トレーニング済みのポリシーからアクション予測を取得する方法を示しています。この方法は、次の強化学習ポリシートレーニングのオフラインデータを収集するために使用できます。 バッチ強化学習 強化学習は、ポートフォリオ管理、エネルギー最適化、ロボット工学など、複数のドメインにわたる問題を解決するのに有用です。強化学習は、存在するトレーニングデータに依存しない機械学習のカテゴリです。代わりに、強化学習で、学習エージェントは環境 (実際またはシミュレート) と相互作用し、実行するアクションの最適なシーケンスを提供するポリシーを学習します。エージェントが学習するポリシーは、各アクションが受け取る報酬またはペナルティに基づいています。 ただし、実際の多くの問題では、強化学習エージェントは、デプロイされたポリシーが生成した履歴データから学習する必要があります。たとえば、ゲームをプレイしている専門家の履歴データ、ウェブサイトを操作するユーザー、またはコントロールシステムからのセンサーデータが存在する場合があります。このデータを入力として使用して、デプロイされた既存のポリシーの結果として履歴データを扱うことにより、新しく改善された強化学習ポリシーをトレーニングできます。 この強化学習へのアプローチはバッチ強化学習と呼ばれ、学習エージェントは固定されたオフラインデータセットサンプルのバッチから改善されたポリシーを導き出します。詳細については、書籍『強化学習: 最先端』から「バッチ強化学習」の章を参照してください。 […]

 データエンジニアや ETL 開発者はさまざまなパラメータを使用しながら、かなりの時間を費やして Apache Spark ジョブを実行および調整し、パフォーマンスの評価を行うことがよくありますが、これは簡単ではなく、時間のかかる作業です。Dr.Elephant と Sparklens はワークロードをモニタリングしたり、推奨する変更を提案することで、Spark や Hive のアプリケーションの調整を支援し、必要とされるエグゼキューターノード、コアノード、ドライバーメモリおよび Hive (Tez または MapReduce) ジョブといったパフォーマンスパラメータをマッパー、レデューサー、メモリ、データスキューの構成で最適化します。Dr.Elephant はジョブメトリクスを収集し、そのメトリクス上で分析を行い、最適化のための推奨事項をシンプルに提示するため、使用や修正が簡単です。同様に Sparklens では、Spark アプリケーションとコンピューティングリソースのスケーラビリティの制限を簡単に把握できます。そのため、試行錯誤による方法ではなく明確に定義されたメソッドで効率的に実行でき、開発者の時間やコンピューティングに費やす時間を節約します。 この投稿は、Amazon EMR クラスターに Dr. Elephant と Sparklens をインストールし、ワークロードを実行して、これらのツールの機能を実証する方法をご紹介するためのものです。Amazon EMR は AWS が提供する Hadoop のマネージドサービスで、AWS で Hadoop やその他のオープンソースフレームワークを簡単かつコスト効率よく実行できます。 以下の図は、このソリューションのアーキテクチャを示しています。データエンジニアや ETL 開発者は Amazon EMR クラスターにジョブを送信し、Dr. Elephant と Sparklens ツールの推奨事項に基づいて、Spark アプリケーションとコンピューティングリソースを最適化し、パフォーマンスと効率を向上させることができます。 前提条件のステップ 新しい EMR クラスターの作成 Dr. […]

 今日の分析ワークロードには通常、24 時間年中無休で利用できるデータウェアハウスが必要ですが、Amazon Redshift クラスターが高頻度 (または低頻度) 間隔で短時間しか必要ない場合があるかもしれません。たとえば、定期的なETL ジョブを実行する、またはクラスターをテストと開発に使用して、勤務時間外や週末には使用しないなどです。こういった場合、データウェアハウスを短時間だけ起動して実行する簡単な方法があればよいと思うでしょう。これまでは、バックアップを作成し、クラスターを停止して、スナップショットからクラスターを復元することでこれを実行することができました。Amazon Redshift の一時停止と再開の各アクションは、課金を停止するためのよりシンプルな方法で、Amazon Redshift が定期的に 1 回数時間単位で停止される場合のために設計されています。 クラスターを一時停止するとコンピューティングが停止されますが、基盤となるデータ構造とデータは維持されるので、後ほどデータを喪失することなくクラスターを再開できます。これは Amazon Redshift コンソールで、または Amazon Redshift CLI を使って設定できます。 クラスターが一時停止されると、料金はクラスターのストレージにしか発生しません。オンデマンドコンピューティングの課金は停止され、秒単位で再開されます。一時停止されたクラスターは、引き続きコンソールにエントリとして表示されます。一時停止と再開のアクションは、運用ニーズに適したスケジュールを使用して自動化することもできます。 Amazon Redshift コンソールを使ったアクションの使用 Amazon Redshift コンソールで一時停止および再開アクションを使用するには、以下の手順を実行してください。 Amazon Redshift コンソールで [クラスター] を選択します。 目的のクラスターを選択します。 [アクション] を選択します。 [Pause] を選択します。 クラスターをいつ一時停止するかを決定するには、次の 3 つのオプションから選択します。 クラスターを直ちに一時停止するには、[Pause now] を選択します。 クラスターを後で一時停止するには、[Pause later] を選択します。 設定されたスケジュールに従ってクラスターを一時停止し、再開するには [Pause and resume on schedule] を選択します。 […]

 本日、AWS Certificate Manager (ACM) またはお客様が提供する証明書を使用して、サービス間のトラフィック暗号化を可能にする AWS App Mesh 機能を一般公開しました。昨年、AWS App Mesh ロードマップの問題 #38 および #39 を通じてお客様からのフィードバックを求め、お客様が試用できるよう、AWS App Mesh Preview Channel で機能を利用できるようにしました。 メッシュアーキテクチャを構築するお客様は、サービス間のトラフィックの暗号化を要求するセキュリティおよびコンプライアンスのベースラインを有している場合があります。さらに、TLS の使用を強制し、アップストリームサービスからの証明書を検証することは、ゼロトラストネットワークの重要な側面です。この機能を使用すると、接続が安全であり、トラフィックが信頼できるサービスに送信されることを保証できます。 App Mesh では、仮想ノード間、そしてサービスメッシュの Envoy 間でトラフィック暗号化が行われます。これは、アプリケーションコードが TLS 暗号化セッションのネゴシエーションに責任を負わず、ローカルプロキシがアプリケーションに代わって TLS の交渉および終了を行うことを許可することを意味します。 図 1: 使用中の AWS インフラストラクチャのコンテキストでのサービス間のトラフィック暗号化フロー 仮想ノードの証明書ソース: ACM およびお客様が提供する証明書 GitHub ロードマップの問題 #38 では、ローカルファイルシステムから証明書を取得する機能を追加し、問題 #39 では、ACM から仮想ノードの証明書を取得する機能を追加しました。仮想ノードの証明書を設定する場合、お客様は、これらの利用可能なソースのいずれかを選択できます。 図 2: ACM 管理の証明書を使用した AWS App Mesh […]

 データ転送を検討するお客様はこれまで、社内で独自のソリューションを開発するか、オープンソースのツールの使用を考えていました。これに加え、データ転送ジョブのセキュリティと整合性も考慮する必要がありました。AWS DataSync はオーバーヘッドコストやその問題に対処するための、すぐに使用できるデータ転送ソリューションの完全なスイートを提供します。 DataSync はオンラインデータ転送サービスで、オンプレミスデータストアと AWS ストレージサービス間でデータをコピーできるようにします。DataSync は、NFS や SMB ファイルシステムからAmazon Elastic File System (Amazon EFS)、Amazon FSx for Windows File Server、およびすべての Amazon Simple Storage Service (Amazon S3) ストレージクラスへのデータコピーに頻繁に使用されています。DataSync では、従来データ移行に関連していた多くのタスクを排除または自動化することにより、データの転送を簡素化しています。つまり、DataSync を使用すれば、コピージョブのスクリプト作成、転送のスケジューリングとモニタリング、データの検証、ネットワーク使用率の最適化がすべて容易となります。 DataSync では、オンプレミスストレージと AWS の間で転送されるデータは、トランスポートレイヤーセキュリティ (TLS) を介して暗号化されます。データがAWSに転送されると、AWS Key Management Service (AWS KMS) を使って保存データを暗号化できます。DataSync は、グローバルおよび業界でのセキュリティ標準にも準拠しています。コンプライアンスの詳細については、AWS DataSync のよくある質問ページをご覧ください。加えて、DataSync ではデータ転送タスクを簡単にスケジューリングできるため、運用上の負担がさらに軽減します。 このブログ投稿では、新規および既存の DataSync タスクでスケジューリング機能を使用する方法を解説します。また、DataSync を使用してカスタムスケジュールを作成する例も含んでいます。 DataSync タスクのスケジューリング DataSync には、スケジューリング機能があります。これは、転送タスクを自動的に実行して、指定された間隔でソースストレージから宛先ストレージに変更を検出してコピーできるようにするものです。定期的なタスクを実行して、オンプレミスと […]