Amazon Web Services ブログ

Amazon Aurora Global Database を使った Aurora PostgreSQL 災害復旧ソリューション

 Amazon Aurora (PostgreSQL 互換) は、高性能商用データベースのパフォーマンスと可用性、そしてオープンソースデータベースのシンプルさとコスト効率性を兼ね備えています。Aurora は、同じリージョン内の 3 つのアベイラビリティーゾーンにストレージをスケールすることでこれを実現し、単一リージョン内で読み込みワークロードと高可用性をスケールアウトするために最大 15 個のリードレプリカをサポートします。Amazon Aurora Global Database では、リージョン全体で障害が発生した場合におけるリモート読み込みアクセスと災害復旧のために、最大 5 つのリージョンに PostgreSQL データベースをレプリケートできるようになりました。 Aurora は、保護グループと呼ばれる 10 GB の論理ブロックにストレージボリュームを構築しています。Aurora は、同じリージョン内の 3 つのアベイラビリティーゾーン (AZ) にまたがって割り当てられている 6 個のストレージノード (AZ ごとに 2 個) 全体に各保護グループをレプリケートします。データのボリュームが現在割り当てられているストレージを超えると、Aurora は必要に応じて新しい保護グループを追加することによってボリュームを拡大し、需要を満たします。 Aurora Global Database とは? 複数のリージョンにまたがる Aurora Global Database は、リージョン全体の障害からの災害復旧を実現し、最も近い位置にある Aurora クラスターからの読み込みを許可することによって、低レイテンシーのグローバル読み込みを可能にします。 Aurora の機能として、Global Database は Aurora のストレージレイヤーにある専用のインフラストラクチャを使用して、リージョン間のレプリケーションを処理します。レプリケーションはストレージレイヤー内の専用レプリケーションサーバーが処理するため、データベースのパフォーマンスを損なうことなく高度な復旧および可用性目標を達成できます。 PostgreSQL […]

Read More

Linux 環境から Amazon FSx for Windows File Server のファイル共有にアクセスする

 クラウドベースのストレージを活用するために、オンプレミスの Network Attached Storage (NAS) をクラウドに移行したいと考えるお客様が増えています。これらの多くのお客様の環境は混在しており、Windows と Linux オペレーティングシステムを組み合わせたワークステーションを使用しています。Windows オペレーティングシステムを使用する従業員にとって一般的なアプローチは、コンピュータを Active Directory に参加させ、ファイル共有を使用して共有ストレージにアクセスすることです。Active Directory は、ネットワーク内のデバイスへのアクセスとアクセス許可を管理できる Microsoft のディレクトリサービスです。コンピュータを Active Directory に参加させると、Active Directory を介した認証が可能になるだけでなく、共有ファイルシステムに対する適切なアクセス許可も付与されます。 Amazon FSx for Windows File Server (Amazon FSx) は、SMB プロトコルを完全にサポートすることにより、Windows と Linux の混在環境からアクセスできるようにします。これには、Linux SMB クライアントを使用した Linux からのアクセスも含まれます。お客様は共有ファイルストレージをクラウドに簡単に移動でき、AWS でフルマネージド型のネイティブ Windows ファイルサーバーをご利用いただけます。セットアップとプロビジョニング、レプリケーション、フェイルオーバー、およびメンテナンスを自動的に処理します。さらに、オンプレミス統合とクラウド内の両方で、SMB プロトコル、Windows NTFS、および Active Directory 統合をサポートしています。 お客様には、次のようなさまざまなユースケースで Amazon FSx をご利用いただいております。 ホームディレクトリ エンタープライズビジネスアプリケーション コンテンツ管理 […]

Read More

Amazon SageMaker 強化学習を使用したバッチ強化学習ポリシーのトレーニング

 Amazon SageMaker は、開発者やデータサイエンティストがあらゆる規模の機械学習 (ML) モデルを迅速かつ簡単に構築、トレーニング、デプロイできるようにする完全マネージド型サービスです。教師ありおよび教師なし学習手法をより一般的に使用した機械学習モデルの構築に加えて、Amazon SageMaker 強化学習を使用して強化学習 (RL) モデルを構築することもできます。 Amazon SageMaker 強化学習には、強化学習の開始を容易にする、事前に構築された強化学習ライブラリとアルゴリズムが含まれています。詳細については、Amazon SageMaker 強化学習 – Amazon SageMaker での管理強化学習を参照してください。Amazon SageMaker 強化学習を使用すると、AWS RoboMaker、Open AI Gym、オープンソース環境、強化学習モデルをトレーニングするためのカスタムビルド環境など、さまざまなシミュレーション環境と簡単に統合できます。また、Open AI Gym、Intel Coach、および Berkeley Ray RLLib を含む Amazon 強化学習コンテナ (MXNet および TensorFlow) を使用することもできます。 この記事では、Amazon SageMaker 強化学習を使用してバッチ強化学習 (バッチ RL) の実装方法を示しています。ここでは、学習経験量の全部 (通常、システムからサンプリングされた一連の移行) が事前に提供されます。この手法では、以前のポリシーから一連の状態とアクション移行を収集し、それらを使用して、環境と相互作用せずに新しい強化学習ポリシーをトレーニングする必要があります。 この記事では、Amazon SageMaker 強化学習を使用して、初期ランダムポリシーからオフラインデータを収集し、オフラインデータで強化学習ポリシーをトレーニングし、トレーニング済みのポリシーからアクション予測を取得する方法を示しています。この方法は、次の強化学習ポリシートレーニングのオフラインデータを収集するために使用できます。 バッチ強化学習 強化学習は、ポートフォリオ管理、エネルギー最適化、ロボット工学など、複数のドメインにわたる問題を解決するのに有用です。強化学習は、存在するトレーニングデータに依存しない機械学習のカテゴリです。代わりに、強化学習で、学習エージェントは環境 (実際またはシミュレート) と相互作用し、実行するアクションの最適なシーケンスを提供するポリシーを学習します。エージェントが学習するポリシーは、各アクションが受け取る報酬またはペナルティに基づいています。 ただし、実際の多くの問題では、強化学習エージェントは、デプロイされたポリシーが生成した履歴データから学習する必要があります。たとえば、ゲームをプレイしている専門家の履歴データ、ウェブサイトを操作するユーザー、またはコントロールシステムからのセンサーデータが存在する場合があります。このデータを入力として使用して、デプロイされた既存のポリシーの結果として履歴データを扱うことにより、新しく改善された強化学習ポリシーをトレーニングできます。 この強化学習へのアプローチはバッチ強化学習と呼ばれ、学習エージェントは固定されたオフラインデータセットサンプルのバッチから改善されたポリシーを導き出します。詳細については、書籍『強化学習: 最先端』から「バッチ強化学習」の章を参照してください。 […]

Read More

Amazon EMR で Dr. Elephant と Sparklens を使って、Hadoop と Spark のパフォーマンスを調整する

 データエンジニアや ETL 開発者はさまざまなパラメータを使用しながら、かなりの時間を費やして Apache Spark ジョブを実行および調整し、パフォーマンスの評価を行うことがよくありますが、これは簡単ではなく、時間のかかる作業です。Dr.Elephant と Sparklens はワークロードをモニタリングしたり、推奨する変更を提案することで、Spark や Hive のアプリケーションの調整を支援し、必要とされるエグゼキューターノード、コアノード、ドライバーメモリおよび Hive (Tez または MapReduce) ジョブといったパフォーマンスパラメータをマッパー、レデューサー、メモリ、データスキューの構成で最適化します。Dr.Elephant はジョブメトリクスを収集し、そのメトリクス上で分析を行い、最適化のための推奨事項をシンプルに提示するため、使用や修正が簡単です。同様に Sparklens では、Spark アプリケーションとコンピューティングリソースのスケーラビリティの制限を簡単に把握できます。そのため、試行錯誤による方法ではなく明確に定義されたメソッドで効率的に実行でき、開発者の時間やコンピューティングに費やす時間を節約します。 この投稿は、Amazon EMR クラスターに Dr. Elephant と Sparklens をインストールし、ワークロードを実行して、これらのツールの機能を実証する方法をご紹介するためのものです。Amazon EMR は AWS が提供する Hadoop のマネージドサービスで、AWS で Hadoop やその他のオープンソースフレームワークを簡単かつコスト効率よく実行できます。 以下の図は、このソリューションのアーキテクチャを示しています。データエンジニアや ETL 開発者は Amazon EMR クラスターにジョブを送信し、Dr. Elephant と Sparklens ツールの推奨事項に基づいて、Spark アプリケーションとコンピューティングリソースを最適化し、パフォーマンスと効率を向上させることができます。 前提条件のステップ 新しい EMR クラスターの作成 Dr. […]

Read More

Amazon Redshift の新しい一時停止/再開アクションでコストを削減

 今日の分析ワークロードには通常、24 時間年中無休で利用できるデータウェアハウスが必要ですが、Amazon Redshift クラスターが高頻度 (または低頻度) 間隔で短時間しか必要ない場合があるかもしれません。たとえば、定期的なETL ジョブを実行する、またはクラスターをテストと開発に使用して、勤務時間外や週末には使用しないなどです。こういった場合、データウェアハウスを短時間だけ起動して実行する簡単な方法があればよいと思うでしょう。これまでは、バックアップを作成し、クラスターを停止して、スナップショットからクラスターを復元することでこれを実行することができました。Amazon Redshift の一時停止と再開の各アクションは、課金を停止するためのよりシンプルな方法で、Amazon Redshift が定期的に 1 回数時間単位で停止される場合のために設計されています。 クラスターを一時停止するとコンピューティングが停止されますが、基盤となるデータ構造とデータは維持されるので、後ほどデータを喪失することなくクラスターを再開できます。これは Amazon Redshift コンソールで、または Amazon Redshift CLI を使って設定できます。 クラスターが一時停止されると、料金はクラスターのストレージにしか発生しません。オンデマンドコンピューティングの課金は停止され、秒単位で再開されます。一時停止されたクラスターは、引き続きコンソールにエントリとして表示されます。一時停止と再開のアクションは、運用ニーズに適したスケジュールを使用して自動化することもできます。 Amazon Redshift コンソールを使ったアクションの使用 Amazon Redshift コンソールで一時停止および再開アクションを使用するには、以下の手順を実行してください。 Amazon Redshift コンソールで [クラスター] を選択します。 目的のクラスターを選択します。 [アクション] を選択します。 [Pause] を選択します。 クラスターをいつ一時停止するかを決定するには、次の 3 つのオプションから選択します。 クラスターを直ちに一時停止するには、[Pause now] を選択します。 クラスターを後で一時停止するには、[Pause later] を選択します。 設定されたスケジュールに従ってクラスターを一時停止し、再開するには [Pause and resume on schedule] を選択します。 […]

Read More

AWS Certificate Manager またはお客様が提供する証明書を使用して、AWS App Mesh のサービス間のトラフィック暗号化を可能に

 本日、AWS Certificate Manager (ACM) またはお客様が提供する証明書を使用して、サービス間のトラフィック暗号化を可能にする AWS App Mesh 機能を一般公開しました。昨年、AWS App Mesh ロードマップの問題 #38 および #39 を通じてお客様からのフィードバックを求め、お客様が試用できるよう、AWS App Mesh Preview Channel で機能を利用できるようにしました。 メッシュアーキテクチャを構築するお客様は、サービス間のトラフィックの暗号化を要求するセキュリティおよびコンプライアンスのベースラインを有している場合があります。さらに、TLS の使用を強制し、アップストリームサービスからの証明書を検証することは、ゼロトラストネットワークの重要な側面です。この機能を使用すると、接続が安全であり、トラフィックが信頼できるサービスに送信されることを保証できます。 App Mesh では、仮想ノード間、そしてサービスメッシュの Envoy 間でトラフィック暗号化が行われます。これは、アプリケーションコードが TLS 暗号化セッションのネゴシエーションに責任を負わず、ローカルプロキシがアプリケーションに代わって TLS の交渉および終了を行うことを許可することを意味します。 図 1: 使用中の AWS インフラストラクチャのコンテキストでのサービス間のトラフィック暗号化フロー 仮想ノードの証明書ソース: ACM およびお客様が提供する証明書 GitHub ロードマップの問題 #38 では、ローカルファイルシステムから証明書を取得する機能を追加し、問題 #39 では、ACM から仮想ノードの証明書を取得する機能を追加しました。仮想ノードの証明書を設定する場合、お客様は、これらの利用可能なソースのいずれかを選択できます。 図 2: ACM 管理の証明書を使用した AWS App Mesh […]

Read More

AWS DataSync を使用してセキュアなデータ転送をスケジューリングする

 データ転送を検討するお客様はこれまで、社内で独自のソリューションを開発するか、オープンソースのツールの使用を考えていました。これに加え、データ転送ジョブのセキュリティと整合性も考慮する必要がありました。AWS DataSync はオーバーヘッドコストやその問題に対処するための、すぐに使用できるデータ転送ソリューションの完全なスイートを提供します。 DataSync はオンラインデータ転送サービスで、オンプレミスデータストアと AWS ストレージサービス間でデータをコピーできるようにします。DataSync は、NFS や SMB ファイルシステムからAmazon Elastic File System (Amazon EFS)、Amazon FSx for Windows File Server、およびすべての Amazon Simple Storage Service (Amazon S3) ストレージクラスへのデータコピーに頻繁に使用されています。DataSync では、従来データ移行に関連していた多くのタスクを排除または自動化することにより、データの転送を簡素化しています。つまり、DataSync を使用すれば、コピージョブのスクリプト作成、転送のスケジューリングとモニタリング、データの検証、ネットワーク使用率の最適化がすべて容易となります。 DataSync では、オンプレミスストレージと AWS の間で転送されるデータは、トランスポートレイヤーセキュリティ (TLS) を介して暗号化されます。データがAWSに転送されると、AWS Key Management Service (AWS KMS) を使って保存データを暗号化できます。DataSync は、グローバルおよび業界でのセキュリティ標準にも準拠しています。コンプライアンスの詳細については、AWS DataSync のよくある質問ページをご覧ください。加えて、DataSync ではデータ転送タスクを簡単にスケジューリングできるため、運用上の負担がさらに軽減します。 このブログ投稿では、新規および既存の DataSync タスクでスケジューリング機能を使用する方法を解説します。また、DataSync を使用してカスタムスケジュールを作成する例も含んでいます。 DataSync タスクのスケジューリング DataSync には、スケジューリング機能があります。これは、転送タスクを自動的に実行して、指定された間隔でソースストレージから宛先ストレージに変更を検出してコピーできるようにするものです。定期的なタスクを実行して、オンプレミスと […]

Read More

スナップショットを使用したSAP HANA データベースの自動化された回復手順を作成する方法

多くのお客様が、クラウドへのSAPの移行を検討しています。それぞれの移行において、すべてのお客様がクラウドにおける適切なアーキテクチャを定義するに違いありません。定義したサービスレベル契約 (SLA)を満たし、実装した手順は運用プロセスを準拠する必要があります。 このブログ記事では、AWSが持つパワーと機能を発揮するためのクラウドネイティブなアプローチについて説明します。クラウド環境で本稼働システムを構築するときに、SAP HANA システムレプリケーション (HSR)、あるいはサードパーティ製のクラスターソフトウェアを利用するのは依然としてごもっともです。とはいえ、私たちは、Amazon EC2 Auto ScalingやAmazon Elastic Block Store (EBS) スナップショットのようなクラウドネイティブな機能を使用した代替アプローチに焦点を当てようと思います。これらの機能を使用して、重要ではないSAPアプリケーション向けに、ネイティブのバックアップ/リストア機能、自動化されたプロセス、低コストを重視したインフラストラクチャを構築しましょう。

Read More

高速、低コストで、より良いAPIの構築 – HTTP APIが利用可能(GA)になりました

本投稿は、Senior Developer Advocate, AWS Serverless Applications のEric Johnsonの寄稿によるものです。 2015年7月、AWSはAmazon API Gatewayを発表しました。これにより、開発者はさまざまな種類のアーキテクチャのフロントに配置して安全でスケーラブルなAPIを迅速に構築できるようになりました。それ以来、API Gatewayチームは顧客向けの新しい機能とサービスを構築し続けています。 図1: API Gateway機能追加タイムライン 2019年初頭、チームは現在のサービスを評価し、API Gatewayの次の姿がどうあるべきか計画を立てました。新しい言語と技術によるプロトタイプを作成し、RESTおよびWebSocket APIの構築から学んだ教訓を適用し、そして、顧客のフィードバックを入念に調べました。その結果として、Amazon API GatewayのHTTP APIが完成しました。これは、より高速で、より低コストで使い易くなるように、ゼロから構築されたサービスです。要するに、HTTP APIはAPIを構築するためのより良いソリューションを提供します。APIを構築していて、HTTP APIが要件に合っている場合は、HTTP APIから始めるのが良いでしょう。   より速く ほとんどのユースケースで、HTTP APIはレイテンシを最大60%削減します。開発者は、最小限のレイテンシと最大限の機能を備えたアプリケーションの構築に苦心しており、アプリケーションプロセスに関係する各サービスがレイテンシを追加する可能性があることを理解しています。 図2: すべてのサービスがレイテンシを追加   これを念頭に置いて、HTTP APIは、API Gatewayサービスのレイテンシオーバーヘッドを削減するように構築されています。リクエストとレスポンスの両方を足し合わせても、すべてのリクエストの99%(p99)でHTTP APIからの追加レイテンシが10ミリ秒未満になります。   より低コストで Amazonでは、中核となるLeadership Principles の一つとして、Frugality(倹約)があります。私たちは、費用対効果の高い方法で物事を行い、その節約がお客様に還元されることを信じています。新しいテクノロジーが利用可能になり、ほぼ5年間にわたりAPI Gatewayを運用し得た専門知識により、より効率的に実行するためにHTTP APIを構築しました。 図3: REST / HTTP APIの価格比較 us-east-1の価格設定を使用して説明します。図3は、1か月あたりの1億回、5億回、および10億回のリクエストのコスト比較を示しています。全体的に、HTTP APIは、API Gateway REST APIと比較して少なくとも71%低コストです。   よりシンプルに HTTP […]

Read More

FreeRTOSでセカンダリプロセッサのOTAアップデートを実行する方法

多くの組み込みアーキテクチャでは、コネクティビティプロセッサが ビジネスロジックを実行する1 つ以上のセカンダリプロセッサに接続されています。セカンダリプロセッサの無線 (OTA) アップデートを実行する機能は、コネクティビティプロセッサの更新と同じくらい重要です。 これは、バグやセキュリティの脆弱性に対する低コストのパッチ適用と、デバイスへの新機能の提供が可能なためです。 FreeRTOSは、マイクロコントローラ用のオープンソースのリアルタイムオペレーティングシステムで、小型で低消費電力のエッジデバイスのプログラミング、デプロイ、セキュリティ、接続、管理を容易にします。 AWS IoT Device Managementにより、IoT デバイスを大規模に安全に登録、整理、監視、リモート管理することが容易になります。 AWS IoT Device Managementは、OTA 更新マネージャサービスを提供し、デバイス群全体でアップデートを安全に作成および管理します。 このサービスは FreeRTOS OTA エージェントライブラリと連携して、ファームウェアにデジタル署名し、ストリーミング API を使用してファイルを MQTT ストリームに変換し、AWS IoT ジョブを使用してファームウェアをデバイスに配信します。 OTA エージェントライブラリを使用すると、TLS経由でのMQTT接続を再利用することで、コネクティビティプロセッサのメモリ消費を減らすことができます。 この記事では、fileId パラメーターを使用して、セカンダリプロセッサに更新を配信する方法について説明します。 この投稿は、特定のハードウェアに固有のものではなく、FreeRTOS 201908.00 以降を実行しているすべてのシステムに適用することができます。 FreeRTOS および AWS IoT デバイス管理を使用して OTA を設定する方法の詳細については、FreeRTOS OTA チュートリアルを参照してください。

Read More