Amazon Web Services ブログ

私たちは、AWS のお客様のご要望にお応えして、AWS　のリージョンとサービスに関する情報をプログラム的に利用できるようにする方法を見つけるよう、以前からサービスチームに依頼していました。本日、この情報が AWS Systems Manager パラメータストアで利用可能になり、スクリプトとコードから簡単にアクセスできるようになったことをお知らせしたいと思います。アクティブリージョンの完全なリストを入手し、それらでどのサービスが使用できるかなどを知ることができます。 クエリの実行 この記事では、例の大半に AWS コマンドラインインターフェース (CLI) を使います。これには、AWS Tools for Windows PowerShell、または AWS SDK のいずれかを使用することもできます。すべての CLI コマンドと同様に、JSON、タブ区切りのテキスト、または表形式での出力をリクエストできます。今回は JSON を使用し、jq ユーティリティをふんだんに使って、各クエリからの出力の関連性が高い部分を表示します。 アクティブリージョンのリストに対するクエリの実行方法は次のとおりです。 $ aws ssm get-parameters-by-path \ –path /aws/service/global-infrastructure/regions –output json | \ jq .Parameters[].Name “/aws/service/global-infrastructure/regions/ap-northeast-1” “/aws/service/global-infrastructure/regions/eu-central-1” “/aws/service/global-infrastructure/regions/eu-north-1” “/aws/service/global-infrastructure/regions/eu-west-1” “/aws/service/global-infrastructure/regions/eu-west-3” “/aws/service/global-infrastructure/regions/sa-east-1” “/aws/service/global-infrastructure/regions/us-east-2” “/aws/service/global-infrastructure/regions/us-gov-east-1” “/aws/service/global-infrastructure/regions/us-gov-west-1” “/aws/service/global-infrastructure/regions/us-west-1” “/aws/service/global-infrastructure/regions/ap-northeast-2” “/aws/service/global-infrastructure/regions/ap-northeast-3” “/aws/service/global-infrastructure/regions/ap-south-1” “/aws/service/global-infrastructure/regions/ap-southeast-1” “/aws/service/global-infrastructure/regions/ap-southeast-2” “/aws/service/global-infrastructure/regions/ca-central-1” “/aws/service/global-infrastructure/regions/cn-north-1” […]

ここ数年の間に、機械学習のスペシャリストとエンジニアの需要が急増しています。これら 2 つの役割は現在、LinkedIn で最も注目されている職種にランクインしています。ここ最近では、機械学習は、医療診断会社から金融機関その他まで、幅広い業界で採用されています。Udacity はこの需要に応えて機械学習ナノ学位プログラム入門と機械学習エンジニアナノ学位プログラムを作成し、より幅広い視聴者がこの技術分野へアクセスできるようにしました。 ボイスアシスタントやリコメンデーションエンジンなどの世界的に利用できるプロダクションアプリケーションに機械学習モデルを統合できるエンジニアに対する需要が高まっています。機械学習モデルを構築する方法を知ることは素晴らしい出発点です。けれども、真の影響を与えるためには、データサイエンティストや開発者は、モデルをラボから実世界に取り込む方法を理解し、何千何万という予測に活かすことができるようにする必要があります。 「最新の AI スキルに対する業界の需要は過去最高に高まっています。Amazon と共同で、AWS プラットフォームで世界中のどこでも最新の機械学習デプロイスキルを習得できるようにするために、Udacity の機械学習ナノ学位プログラムを更新しました」と Udacity の共同設立者、社長兼会長の Sebastian Thrun 氏は言います。 AWS Educate と Amazon SageMaker は、Udacity と共同で 機械学習エンジニアナノ学位プログラムの新しいデプロイメントコンテンツを作成しました。AWS Educate は、Udacity の生徒が AWS のコンテンツと AWS のプロモーションクレジットへアクセスできるようにしています。これらの利点により、生徒は AWS の内容領域専門家 (SME) と連携して開発した課題に Amazon SageMaker を使用することができます。このコースでは、実世界のタスクに大規模に適用されるさまざまな機械学習モデルについて説明しています。生徒は教師ありと教師なしの両方のアルゴリズムをデプロイする方法を学び、それらをフィーチャーエンジニアリングや時系列予測などのタスクに適用します。このコンテンツは、次のような質問に対処します。 与えられたタスクにピッタリの機械学習モデルをどのように決定するか? Amazon SageMaker などのクラウドデプロイメントツールを使用してデータを操作し、機械学習モデルを改善するにはどうすればよいか? Udacity.com による機械学習エンジニアナノ学位プログラムの説明 モデルのデプロイについて学ぶことに加えて、生徒はモデルの提供と更新についても学びます。このコースでは、AWS API を使用して、デプロイされたセンチメント分析モデルをウェブサイトに接続する方法を説明しています。モデルをデプロイした後、基礎となるテキストデータの変更を説明するためにそれを更新します。これは、データを継続的に収集する業界で特に価値のあるスキルです。このセクションの終わりまでに、生徒は自分の設計のタスクを解決するためにモデルをトレーニングしてデプロイするのに必要なスキルを身につけているはずです。 初級者から上級者までの機械学習コース Udacity の機械学習入門および機械学習エンジニアのナノ学位プログラムは、Udacity’s AI of School の一部です。それはソフトウェア開発者によってソフトウェア開発者のために設計された一連の無料のコースおよびナノ学位プログラムです。機械学習に慣れていないのであれば、Udacity […]

昨年お約束していた AMD EPYC 搭載の T3a インスタンスが提供開始されました。今すぐご利用可能です。 最近発表された M5ad および R5ad インスタンスと同様、T3a インスタンスは AWS Nitro System 上にて構築されており、組み合わされた複数のインスタンスのバランスをコストおよびパフォーマンスに基づいて保つことができます。 T3a インスタンス T3a インスタンスはバースト可能で高コスト効率なパフォーマンスを提供します。継続的に高い処理能力は必要としないものの使用量に一時的なスパイクが発生するワークロードに最適です。豊富で信頼できるベースラインの処理能力が提供されるほか、さらに処理能力が必要になったときにフルコアパフォーマンスまで透過的にスケールアップする機能を、必要な期間だけ利用できます。T3 および T3a に共通のバースト可能なコンピューティングモデルの詳細については、New T3 Instances – Burstable, Cost-Effective Performance をお読みください。 T3a インスタンスは今すぐ 7 通りのサイズで起動できます。利用可能なリージョンは、米国東部 (バージニア北部)、米国西部 (オレゴン)、欧州 (アイルランド)、米国東部 (オハイオ)、アジアパシフィック (シンガポール) です。オンデマンドインスタンス、スポットインスタンス、リザーブドインスタンスの各形式で利用できます。仕様は以下のとおりです。 インスタンス名 vCPUs RAM EBS最適化帯域幅 ネットワーク帯域幅 t3a.nano 2 0.5 GiB 最大 1.5 Gbps 最大 5 Gbps […]

ロボット工学には、しばしば複雑な連続動作のトレーニングが含まれることがあります。たとえば、別のオブジェクトをフォローまたは追跡するように設計されたロボットについて考えてみましょう。目標については簡単に説明できますが (ロボットがオブジェクトに近いほど良いです)、タスクを達成するためのロジックを作成することははるかに難しいです。強化学習 (RL)、新しい機械学習技術は、まさにこのような問題のソリューションを開発する際に役立ちます。 この記事では RL を紹介するとともに、私たちが AWS RoboMaker を使用して TurtleBot Waffle Pi がTurtleBot Burgerを追跡するアプリケーションをどのように作成し、トレーニングした方法について説明しています。AWS RoboMaker のサンプルアプリケーション、オブジェクトトラッカーは、Intel Reinforcement Learning Coach と OpenAI の Gym ライブラリを使用します。Coach ライブラリは RL フレームワークを簡単に利用できるPython で書かれたライブラリです。TurtleBot が自律走行に使うモデルのトレーニングに使用されました。OpenAI の Gym は、自律判断を行う RL エージェントを開発および設計するために使用されたツールキットです。 サンプルオブジェクトトラッカーのアプリケーションを使用したい場合は、「強化学習を使用してロボットをトレーニングする方法」を参照してください。 RL の概要 RL では、トレーニングのコンポーネントが 2 つあります。 ロボットが行うべきアクションを判断するエージェント ロボットの次の状態を判断するために、ロボットの力学および物理学とアクションを組み合わせた環境 簡潔に言えば、エージェントはモデルを使用してアクションを決定します。ロボットの現在の状態では、モデルは可能なアクションをマッピングして、各アクションがどれだけ優れているかを推測します (強化学習では、報酬といいます)。最初、モデルはどのアクションが最適なのか分からないため、通常、間違った推測を行います。エージェントが、受け取る可能性がある潜在的報酬を最大化することを学ぶと、モデルは改善され、改善されるアクションを推測します。次の図は、仕組みについて説明しています。 サンプルオブジェクトトラッカーのアプリケーションでは、RL は次のように機能します。 ロボットがある開始位置にあるとき、エージェントはとるべき最善のアクションを推測します。 環境は新しい状態と報酬を計算します。報酬はエージェントに前回のアクションがどれほど良かったかを知らせます。 エージェントと環境は相互作用して、新しいアクションを決定し、新しい状態を計算します。エージェントは、良いアクションに対する報酬と悪いアクションに対する罰を集めます。 トレーニングが 1 回終了すると、ロボットは、全体的にどれだけうまく機能したかを表す報酬の合計を取得します。 多くのアクションをとることによって、エージェントはどのアクションが優れているか (より大きな報酬を得ているか) […]

 Amazon DocumentDB (MongoDB 互換) は、MongoDB のワークロードをサポートする高速でスケーラブル、かつ可用性に優れた完全マネージド型のドキュメント データベース サービスです。Amazon DocumentDB 移行ガイドでは、MongoDB から Amazon DocumentDB に移行するための 3 つの主要なアプローチ (オフライン、オンライン、ハイブリッド) の概要を説明しています。 オフラインでの移行のアプローチは、3 つのうち最速で最も簡単な方法ですが、停止時間が最も長くなります。このアプローチは、概念実証、ワークロードの開発およびテスト、およびダウンタイムが主な懸念ではない本稼働のワークロードに適しています。移行に関する 3 回シリーズの第 1 回では、オフラインのアプローチを使用して、Amazon EC2 上の MongoDB レプリカセットから Amazon DocumentDB クラスターにデータを移行します。 オフライン移行の概要 次の図は、MongoDB から Amazon DocumentDB へのオフライン移行を示しています。 このアプローチには、5 つの基本的な手順があります。 ソース MongoDB デプロイメントへのアプリケーションによる書き込みを停止します。 mongodump ツールを使用して、インデックスとデータを EC2 インスタンスにダンプします。 (オプション) Amazon DocumentDB インデックスツールを使用して、Amazon DocumentDB クラスターにインデックスを復元します。 mongorestore ツールを使用して、データを […]

今日、データは、IoT センサー、アプリケーションログ、クリックストリームなどのリソースの非構造化データ、トランザクションアプリケーション、リレーショナルデータベース、スプレッドシートの構造化データなど、あらゆる場所から流れています。データはすべてのビジネスにとって非常に重要な部分になりました。そのため、データから迅速にデータを抽出するために、信頼できる唯一の情報源を維持し、データの取り込みから変換、分析まで、パイプライン全体を自動化する必要があります。 データ量、速度、種類が増えるにつれて、データ分析の複雑さに対する懸念が高まっています。この懸念は、データをビジネスユーザーが使用できる状態にするために必要な手順の数と複雑さから生じています。多くの場合、データエンジニアリングチームは、パイプラインの構築と、その抽出、変換、ロード (ETL) の最適化に時間を費やしています。プロセス全体を自動化することで、価値実現までの時間と運用コストを削減できます。この記事では、完全に自動化されたデータカタログと ETL パイプラインを作成してデータを変換する方法について説明します。 アーキテクチャ この記事では、以下のアーキテクチャを構築して自動化する方法を学びます。 プライマリデータストアとして Amazon Simple Storage Service (Amazon S3) を使用して、サーバーレスデータレイクを構築します。Amazon S3 のスケーラビリティと高可用性を考えると、データの信頼できる唯一の情報源として最適です。 Amazon S3 にデータを取り込み、保存するためにさまざまな手法を使用できます。たとえば、ストリーミングデータを取り込むために Amazon Kinesis Data Firehose を使用できます。既存のデータベースからリレーショナルデータを取得するために AWS Database Migration Service (AWS DMS) を使用できます。また、AWS DataSync を使用して、オンプレミスのネットワークファイルシステム (NFS) からファイルを取り込むこともできます。 取り込まれたデータは Amazon S3 バケットに入り、これを raw ゾーンと呼びます。そのデータを利用できるようにするには、そのスキーマを AWS Glue のデータカタログに登録する必要があります。これを行うには、Amazon S3 トリガーによって呼び出される AWS Lambda 関数を使用して、データをカタログ化する AWS Glue クローラを起動します。クローラによるテーブル定義の作成が完了したら、Amazon […]

今回は、Pagely の Arman Zakaryan (ホスティングオペレーション部門ディレクター) と Michael Martin (ソフトウェアエンジニア) によるゲスト投稿です。Pagely は、同社自身の言葉では、「WordPress のための非常にスケーラブルなマネージド型ホスティングソリューションを提供しています。世界で最大かつ最も革新的なブランドと協力して、オーダーメイドの WordPress ホスティングソリューションを作成しています。クライアントは、何よりもクライアントの幸せを最優先する、ベテランの DevOps エンジニアのオールスターチームによるサービスとサポートを享受できます。Pagely は、最高の状態で Enterprise WordPress をホスティングしています」。 WordPress は全ウェブサイトの 30 パーセントを駆動しています。これは、Pagely でビジネスを構築してきたコンテンツ管理システムです。当社のマネージド型 WordPress ホスティングは完全にアマゾン ウェブ サービス上で稼働します。Amazon が物理的なハードウェアやデータセンターの管理の心配からお客様を解放したのと同じように、Pagely は WordPress の管理を心配することなく自らの職務に集中できるようにします。Pagely が WordPress を大規模に実行することに対する献身的なサポートと経験は、Amazon の技術的なサービスと相性が良好です。 WordPress を実行する上で最も重要な側面の 1 つは MySQL データベースです。Amazon は Pagely のような会社が他のソリューションよりもはるかに優雅にそして効率的に業務上の職務を管理することを支援します。これは Amazon Relational Database Service (Amazon RDS) 、特に Amazon Aurora […]

Amazon Elastic Inference 向けの新しい MXNet 1.4 のリリースには、Java および Scala のサポートが含まれています。Apache MXNet は、ディープニューラルネットワークの構築、訓練、およびデプロイメントに使用されるオープンソースの深層学習フレームワークです。Amazon Elastic Inference (EI) は、Amazon EC2 および Amazon SageMaker インスタンスに低コストの GPU 駆動のアクセラレーションをアタッチできるようにするサービスです。Amazon EI は、深層学習推論の実行コストを最大 75% 削減します。この記事では、MXNet および Elastic Inference アクセラレーター (EIA) を使って Java で推論を実行する方法について説明します。 Amazon EC2 での Amazon Elastic Inference のセットアップ Amazon EI アクセラレーターがアタッチされた EC2 インスタンスを開始するには、AWS アカウントのセットアップ時にいくつかの事前設定ステップが必要になります。必要なものはすべて、セットアップツールを使用して簡単に開始することができます。または、Amazon Elastic Inference ドキュメントにある手順に従って、アクセラレーターでインスタンスを起動することもできます。ここでは、基本的な Ubuntu Amazon Machine Image (AMI) […]

Amazon は Elastic Fabric Adapter (EFA) を re:Invent 2018 で発表し、その時点でプレビュー形式で利用できるようにしました。プレビュー中、AWS のお客様はさまざまな密結合した HPC ワークロードに EFA を活用し、貴重なフィードバックを提供し、最終製品の微調整に役立ちました。 今すぐ利用可能 本日、EFA が複数の AWS リージョンで実稼働の準備が整ったことをお知らせします。従来の TCP 通信で可能であったものよりも、より高いスループットがあり、より低くより一貫したネットワークレイテンシーを必要とする、要求の厳しい HPC ワークロードをサポートする準備が整いました。今回の発表により、 AWS Cloud の規模、柔軟性、および弾力性を密結合した HPC アプリに適用できます。それをどう活用されるかの話を聞くのがとても楽しみです。たとえば、ハードウェアやネットワークを事前に予約しなくても、何千もの計算ノードにスケールアップできます。 EFA のすべて Elastic Fabric Adapter は、機能を追加した AWS Elastic Network Adapter (ENA) です (ENA について詳しくは、Elastic Network Adapter – Amazon EC2 のための高性能ネットワークインターフェイスを参照してください)。EFA は依然として IP トラフィックを処理できますが、一般的に OS バイパスと呼ばれる重要なアクセスモデルもサポートします。このモデルでは、オペレーティングシステムを各メッセージに関与させることなく、アプリケーションが (最も一般的には一部のユーザースペースミドルウェアを介して) […]

AWS re:Invent 2018 で発表された Amazon SageMaker Ground Truth は Amazon SageMaker の機能であり、機械学習システムのトレーニングに必要なデータセットの効率的で高精度なラベル付けをお客様が簡単に行えるようにします。 Amazon SageMaker Ground Truth の簡単なまとめ Amazon SageMaker Ground Truth は、機械学習用の高精度なトレーニングデータセットをすばやく構築するお手伝いをします。SageMaker Ground Truth を使用すると、パブリックおよびプライベートでラベル付けを行う人間の作業者への簡単なアクセスと、一般的なラベル付けタスクのための組み込みのワークフローとインターフェースが提供されます。さらに、SageMaker Ground Truth は自動データラベル付けを使用してラベル付けのコストを最大 70% 削減します。自動データラベル付けは、人間がラベルを付けたデータから Ground Truth をトレーニングし、サービスが独自にデータにラベルを付けることを学習することによって機能します。 Amazon SageMaker Ground Truth は以下のデータセットの構築をお手伝いします。 テキスト分類。 画像分類 (画像を特定のクラスに分類する)。 物体検出 (画像内の物体の位置をバウンディングボックスとともに取得)。 セマンティックセグメンテーション (ピクセル精度で画像内の物体の位置を取得)。 文字通りお客様が何でも注釈を付けることができるカスタムのユーザー定義タスク。 ラベラーのチームを使用して、ラベル付けの要求を直接ラベラーにルーティングすることを選択できます。あるいは、スケールアップが必要な場合は、組織外のラベラーと連携するためのオプションが Amazon SageMaker Ground Truth コンソールに直接表示されます。Amazon Mechanical Turk との統合により、50 […]