Amazon Web Services ブログ

Julien Simon

Author: Julien Simon

As an Artificial Intelligence & Machine Learning Evangelist for EMEA, Julien focuses on helping developers and enterprises bring their ideas to life.

Amazon SageMaker で EC2 P3dn GPU インスタンスをご利用いただけるようになりました

ここ数年、深層学習の急速な台頭によって、皮膚がんの発見 (SkinVision) および自動運転車 (TuSimple) などの素晴らしいアプリケーションが実現されました。ニューラルネットワークのおかげで、深層学習にはまさに、大量の非構造データ (画像、動画、自由形式テキストなど) から複雑なパターンを抽出し、モデル化する並外れた能力があります。 しかし、これらのニューラルネットワークのトレーニングには、同じく大量のコンピューティングパワーも必要です。グラフィック処理ユニット (GPU) にその能力があることは長年実証済みで、AWS のお客様は、Amazon Elastic Compute Cloud (EC2) の P2 および P3 インスタンスを使用し、特に AWS の完全マネージド型でモジュラー設計の機械学習サービスである Amazon SageMaker においてそのモデルをトレーニングすることができる方法を素早く理解しました。 本日は、p3dn.24xlarge と名付けられた最大規模の P3 インスタンスが Amazon SageMaker でのモデルトレーニングに利用できるようになったことをお知らせしたいと思います。去年ローンチされたこのインスタンスは、大規模で複雑な分散型トレーニングジョブを迅速化するために設計されており、他の P3 インスタンスと比べて 2 倍の GPU メモリ、50% 増の vCPU、超高速のローカル NVMe ストレージ、および 100 Gbit のネットワーキングを備えています。 では、これをAmazon SageMaker で試してみませんか? Amazon SageMaker での EC2 P3dn インスタンスの導入 Caltech-256 […]

Read More

今すぐ利用可能: ベアメタル Arm ベースの EC2 インスタンス

 AWS re:Invent 2018 では、Arm ベースの AWS Graviton プロセッサを搭載した、Amazon Elastic Compute Cloud (EC2) インスタンスの新しいライン、A1 ファミリーを発表しました。このファミリーは、ウェブフロントエンド、コンテナ化されたマイクロサービス、キャッシングフリートなどのスケールアウトワークロードに最適です。コンピューティングオプションの選択肢を拡大することにより、A1 インスタンスは、お客様が適切なアプリケーションに適切なインスタンスを使用するのを支援し、最大 45% のコスト削減を実現します。さらに、A1 インスタンスにより、Arm 開発者はクラウド内の Arm ベースのインフラストラクチャ上でネイティブにビルドおよびテストできます。クロスコンパイルやエミュレーションはもはや不要です。 今日、ベアメタルオプションで A1 ファミリーを拡大します。 A1 のベアメタル インスタンス名 論理プロセッサ メモリ EBS最適化帯域幅 ネットワーク帯域幅 a1.metal 16 32 GiB 3.5 Gbps 10Gbpsまで 既存のベアメタルのインスタンス (M5、M5d、R5、R5d、z1d など) と同様に、お使いのオペレーティングシステムは、プロセッサに直接アクセスする既存のハードウェアで直接実行されます。 以前のブログ投稿で説明されているとおり、次のようなアプリケーションにベアメタルのインスタンスを利用することができます。 物理的なリソースと低レベルなハードウェア機能にアクセスが必要。仮想化された環境で使用可能または完全なサポートを常に必要としないパフォーマンスカウンターなど、 ハードウェアで直接実行されることを目的とするか、仮想化されていない環境で使用するためにライセンスまたはサポートされている ベアメタルインスタンスでは、Elastic Load Balancing、Auto Scaling、Amazon CloudWatch、および AWS のその他サービスを利用することもできます。 A1 インスタンスの使用 […]

Read More

最大 100 Gbps のネットワーキングを備えた新しい M5n および R5n EC2 インスタンス

 AWS のお客様は、Amazon EC2 で要求の厳しいアプリケーションを構築しています。お客様にできる限りのサポートをするために、その要求に耳を傾け、仕事をし、新しい機能を考え出しています。たとえば、2018 年、Amazon EC2 C5 インスタンスのネットワーク機能をアップグレードし、最大 100 Gbps のネットワーキングとパケット処理パフォーマンスの大幅な改善を実現しました。これらは、新しい仮想化テクノロジー (別名: AWS Nitro System)、および Elastic Fabric Adapter によって可能になり、100 Gbps ネットワーキングプラットフォームで低レイテンシーを実現しています。 この利点を最も広範なワークロードに拡張するために、同じネットワーキング機能が Amazon EC2 M5 および R5 インスタンスの両方で利用できるようになったことをお知らせします。 Amazon EC2 M5n および M5dn インスタンスの紹介 Amazon EC2 の初期の頃から、M ファミリーが汎用ワークロードの一般的な選択肢でした。新しい M5(d)n インスタンスはこの伝統を支持し、改善されたネットワークスループットとパケットレートパフォーマンスを活用できるデータベース、ハイパフォーマンスコンピューティング、分析、キャッシングフリートに最適です。 次のチャートに、新しいインスタンスとその仕様を示します。各 M5(d) インスタンスサイズには、上記のアップグレードされたネットワーク機能をサポートする M5(d)n の対応物が追加されました。たとえば、通常の m5(d).8xlarge インスタンスには 10 Gbps のネットワーク帯域幅がありますが、m5(d)n.8xlarge 兄弟は 25 Gbps になります。行の先頭の […]

Read More

Amazon Translate に新言語を追加: ギリシャ語、ハンガリー語、ルーマニア語、タイ語、ウクライナ語、ウルドゥー語、ベトナム語

私たちテクニカルエバンジェリストは世界中を頻繁に旅します。その中で Amazon Translate を紹介する際にお客様から一番よく受ける質問が「自分の母国語はサポートされていますか?」というものです。母国語がギリシャ語、ハンガリー語、ルーマニア語、タイ語、ウクライナ語、ウルドゥー語、そしてベトナム語のいずれかである方に、今日から「はい」と答えられることをとてもうれしく思います。実際、Amazon Translate を使えば、”ναί”、”igen”、”da”、”ใช่”、”так”、“جی ہاں” and “có”といった言葉でさえも話すことができます。それもおそらく正しいアクセントで。 上記の言語を含め、Amazon Translate は現在、次の 32 の言語をサポートしています。アラビア語、中国語 (簡体字)、中国語 (繁体字)、チェコ語、デンマーク語、オランダ語、英語、フィンランド語、フランス語、ドイツ語、ギリシャ語、ヘブライ語、ヒンディー語、ハンガリー語、インドネシア語、イタリア語、日本語、韓国語、マレー語、ノルウェー語、ペルシャ語、ポーランド語、ポルトガル語、ルーマニア語、ロシア語、スペイン語、スウェーデン語、タイ語、トルコ語、ウクライナ語、ウルドゥー語、ベトナム語です。 これらの言語間で 987 の翻訳の組み合わせに対応しています。サポートされている言語ペアの一覧は、こちらのドキュメントページでご確認いただけます。 Amazon Translate を使う Amazon Translate の使い方はとても簡単です。さっそく、AWS コンソールで私のお気に入りの詩の一篇を翻訳してみましょう。 開発者の方であれば、TranslateText API を呼び出すのではないでしょうか。以下は AWS CLI を使用した例です。 $ aws translate translate-text –source-language-code auto –target-language-code hu –text “Les sanglots longs des violons de l’automne blessent mon coeur d’une langueur monotone” { […]

Read More

Amazon Comprehend Medical のバッチモード処理の導入

AWS re:Invent 2018 でローンチした Amazon Comprehend Medical は HIPAA に対応した自然言語処理サービスで、機械学習を使用して構造化されていないテキストから関連する医療情報の抽出を簡単に行うことができます。 たとえば、ロシュ・ダイアグノスティックスや Fred Hutchinson Cancer Research Center などの顧客企業は Amazon Comprehend Medical を使って、医師のメモ、臨床試験報告書、患者の健康記録といったさまざまな情報源から病状、投薬、投与量、含量、頻度などの情報を迅速​​かつ正確に抽出しています。また、これらのドキュメント内に存在する保護された医療情報 (PHI) を識別し、データ交換の前に匿名化することもできます。 以前のブログ投稿で、Amazon Comprehend Medical API を使って、単一のドキュメントでエンティティを抽出し、PHI を検出する方法をご紹介しました。本日は、この API が Amazon Simple Storage Service (S3) バケットに保存されたドキュメントのバッチ処理が可能になったことをお知らせします。それでは、デモを始めましょう。 バッチモード API の導入 まず最初にデータを取得して、バッチモードをテストする必要があります。MT Samples は匿名化された本物の医療記録をコレクションしたもので、無料での使用と配布が可能です。いくつかのトランスクリプトを選択し、それらを Amazon Comprehend Medical が期待するシンプルな JSON 形式に変換しました。本番ワークフローでは、アプリケーションコードや などの分析サービスのいずれかを使って、ドキュメントを簡単にこの形式に変換できます。 {“Text”: ” VITAL SIGNS: The […]

Read More

管理型スポットトレーニング: Amazon SageMaker トレーニングジョブで最大 90% を節約

Amazon SageMaker は、開発者やデータサイエンティストがあらゆる規模の機械学習 (ML) モデルを迅速かつ簡単に構築、トレーニング、デプロイできるようにする完全マネージド型プラットフォームです。組み込みアルゴリズムを使用するか、自分自身のものを使用するか、AWS Marketplace 内で使用可能なアルゴリズムから選択することがで、実験からスケールアウト生産までMLモデルを取得することは、かつてないほど簡単かつ迅速になりました。 One of the key benefits of Amazon SageMaker は重要な利点の 1 つは、作業するスケールにかかわらず、インフラストラクチャ管理から解放することです。たとえば、複雑なトレーニングクラスタのセットアップをし、管理する代わりに、Amazon SageMakerに使用する Amazon Elastic Compute Cloud (EC2) インスタンスタイプと必要な数を伝えるだけでかまいません。適切なインスタンスは、オンデマンドで作成され、設定され、トレーニングジョブが完了したら自動的に終了します。カスタマーが素早く理解するように、このことはトレーニングインスタンスを待機させるための支払いは行わず、コストを管理できる状態にするための簡単な方法であることを意味します。 管理型スポットトレーニングの紹介 ワンステップ更に進めて、当社はこれまでの Amazon SageMaker のオンデマンドのインスタンスを使用する場合に比べて、最大 90% のコストを削減することで ML トレーニングコストを下げることを支援する Amazon EC2 スポットインスタンスに基づいた新しい機能である Amazon SageMaker の管理型スポットトレーニングを発表することを非常に喜ばしく思っています。スポットインスタンスは約 10 年前にローンチされ、それ以来、AWS でスケール自在でコスト最適化された IT プラットフォームを構築する礎石となってきました。本日より、お使いの Amazon SageMaker トレーニングジョブが完全管理型のインフラすトラクター状で実行されるだけではなく、完全に管理されたコスト最適化の恩恵も受け、同じ予算でより多くの成果を上げることもできるようになりました。では、中を見ていきましょう! 管理型スポットトレーニングは、次のすべてのトレーニング設定で利用できます。 Amazon SageMakerによりサポートされているすべてのインスタンスタイプ。 全モデル: 組み込みアルゴリズム、組み込みフレームワーク、およびカスタムモデル 全設定: 単一インスタンストレーニング、分散トレーニング、および自動的なモデルの微調整 […]

Read More

新しい C5 インスタンスのサイズとベアメタル インスタンスがいますぐ使用可能

Amazon EC2 C5 インスタンスは、バッチ処理、分散型アナリティクス、ハイパフォーマンスのコンピューティング、機械 / 深層学習推論、ad サーブ、高度にスケーラブルなマルチプレイヤーゲーミング、ビデオエンコーディングなどのような計算負荷の高いワークロードに対して非常に一般的です。 今日、次の特徴をもつ Amazon EC2 C5 ファミリを拡張できることをうれしく思います。 新しいより大きな仮想インスタンスサイズ; 12xlarge と 24xlarge、 ベアメタルオプション。 新しい C5 インスタンスサイズは、持続的な全コアターボ周波数 3.6 GHz、最大シングルコアターボ周波数 3.9 GHzの Intel の第二世代 Xeron スケーラブルプロセッサ (コード名 Cascade Lake) で実行されます。 新しいプロセッサはまた、 AVX-512 インストラクションセットに基づいた Intel Deep Learning Boost と呼ばれる新機能も備えています。新しいベクトルニューラルネットワークのインストラクション (AVX-512 VNNI) のおかげで、深層学習フレームワークは、畳み込みなどの代表的な機械学習操作をスピードアップし、自動的に広域ワークロードでの推論性能を改善します。 これらのインスタンスはまた、AWS Nitro System を基礎としており、EBS 処理 (暗号化操作を含む) の専用ハードウェアアクセラレーター、各 Virtual Private Cloud (VPC) 内にあるソフトウェア定義ネットワーク、ENA […]

Read More

TensorFlow と Apache MXNet を使用して、Amazon SageMaker で Keras モデルをトレーニングおよびデプロイする

Keras は適切に文書化された定評のある深層学習用オープンソースライブラリで、一方 Amazon SageMaker は機械学習モデルをトレーニングし最適化するための使いやすいツールです。両者を使用するにはこれまで、カスタムコンテナを構築する必要がありましたが、Keras は TensorFlow と Apache MXNet 用のビルトイン TensorFlow 環境の一部になりました。この結果、開発プロセスが簡素化しただけでなく、スクリプトモードや自動モデル調整などの Amazon SageMaker の標準機能を使用することもできるようになりました。 Keras の優れたドキュメント、多数の事例、さらに活発なコミュニティにより、初心者にも経験豊富な専門家にも最適な選択肢となっています。このライブラリはあらゆる種類の深層学習アーキテクチャを簡単に構築できるようにするハイレベルな API を提供し、さらにトレーニングと予測に異なるバックエンドを使用するオプション (TensorFlow、Apache MXNet、および Theano) もあります。 この記事では TensorFlow と Apache MXNet 用ビルトイン TensorFlow 環境を使用して、Amazon SageMaker で Keras 2.x モデルをトレーニングおよびデプロイする方法を説明します。その過程で、次のことも学びます。 スクリプトモードを使用して、ローカルマシンで実行しているのと同じ Keras コードを Amazon SageMaker で実行する。 自動モデル調整を起動して、ハイパーパラメータを最適化する。 Amazon Elastic Inference を使用してモデルをデプロイする。 Keras の例 この例では、Fashion MNIST データセットで簡単な畳み込みニューラルネットワークをトレーニングする方法を示します。このデータセットは、よく知られている MNIST データセットに置き換えられるものです。同数のクラス […]

Read More

Amazon Personalize の一般のご利用が可能に

本日より、Amazon Personalize がすべての AWS のお客様にご利用いただけるようになりました。AWS re:Invent 2018 のプレビューにて発表された Amazon Personalize は機械学習の経験をほとんど必要とせずに、アプリケーション用に個人にカスタマイズしたレコメンドを作成できる完全マネージド型サービスです。 アプリケーション内でタイムリーに動画をレコメンドする、適切なタイミングでパーソナライズ化した通知メールを配信するなど、データに基づいてカスタマイズしたサービスで、より関連性の高い結果が得られるだけでなく、多くの場合より大きなビジネス収益をもたらします。 効率的なレコメンドシステムを開発するのは、極めて困難な作業です。リアルタイムパーソナライゼーションを構築、最適化、デプロイするには、分析、応用機械学習、ソフトウェア工学、システム運用に関する専門知識が必要です。これらの課題を克服するための知識やスキル、経験がある組織はほとんどないため、新製品や販売促進が導入されたり顧客行動が変化したりすると、単純なルールで構築されたシステムは脆弱となり、維持費も高くなります。 Amazon.com は 20 年以上にわたり、商品の発見からチェックアウトまでのパーソナライズ化した購入体験を提供する機械学習モデルを完成させてきました。Amazon Personalize はこのようなソリューションに通常伴う複雑なインフラストラクチャや機械学習に対処せずとも、これらを使ったようなカスタムモデルを開発者が構築できるように支援します。 Amazon Personalize ではオプションで顧客の人口統計情報 (年齢、場所など) だけでなく、アクティビティデータ (ページ閲覧数、サインアップ、購入など) を独自に表示します。他にも記事、商品、動画、音楽といったレコメンドするアイテムのインベントリを表示します。さらに Amazon Personalize はデータの処理と検証、重要なものの特定、正しいアルゴリズムの選択、データに合わせてカスタマイズし API を介してアクセス可能なパーソナライゼーションモデルのトレーニングと最適化を行います。Amazon Personalize が分析したあらゆるデータは非公開かつセキュアに保管され、カスタマイズしたレコメンドにのみ利用されます。生成されたパーソナライゼーションモデルはお客様自身だけのもので、他社が使用することはありません。 1 度の API 呼び出しでユーザーへのレコメンドを作成し、カスタマーエクスペリエンスをパーソナライズして、より多くのエンゲージメント、より高いコンバージョン、マーケティングキャンペーンでのパフォーマンスを向上させることが可能です。たとえばドミノピザでは Amazon Personalizeを使用し、デジタル特性を利用したプロモーションなど、個人にカスタマイズしたコミュニケーションを行っています。ソニーインタラクティブエンタテインメントは Amazon SageMaker とともに Amazon Personalize を使用して、機械学習の開発を自動化および高速化し、規模に応じてより効果的なカスタマイズを推し進めています。 つまりパーソナライズとは、自身の Amazon.com に 24 時間体制で意のままに利用できる機械学習のパーソナライゼーションチームを持つことを意味するのです。 Amazon Personalizeの紹介 Amazon Personalize では […]

Read More

Amazon SageMaker Ground Truth が、ラベル付けワークフローを簡素化し続ける

AWS re:Invent 2018 で発表された Amazon SageMaker Ground Truth は Amazon SageMaker の機能であり、機械学習システムのトレーニングに必要なデータセットの効率的で高精度なラベル付けをお客様が簡単に行えるようにします。 Amazon SageMaker Ground Truth の簡単なまとめ Amazon SageMaker Ground Truth は、機械学習用の高精度なトレーニングデータセットをすばやく構築するお手伝いをします。SageMaker Ground Truth を使用すると、パブリックおよびプライベートでラベル付けを行う人間の作業者への簡単なアクセスと、一般的なラベル付けタスクのための組み込みのワークフローとインターフェースが提供されます。さらに、SageMaker Ground Truth は自動データラベル付けを使用してラベル付けのコストを最大 70% 削減します。自動データラベル付けは、人間がラベルを付けたデータから Ground Truth をトレーニングし、サービスが独自にデータにラベルを付けることを学習することによって機能します。 Amazon SageMaker Ground Truth は以下のデータセットの構築をお手伝いします。 テキスト分類。 画像分類 (画像を特定のクラスに分類する)。 物体検出 (画像内の物体の位置をバウンディングボックスとともに取得)。 セマンティックセグメンテーション (ピクセル精度で画像内の物体の位置を取得)。 文字通りお客様が何でも注釈を付けることができるカスタムのユーザー定義タスク。 ラベラーのチームを使用して、ラベル付けの要求を直接ラベラーにルーティングすることを選択できます。あるいは、スケールアップが必要な場合は、組織外のラベラーと連携するためのオプションが Amazon SageMaker Ground Truth コンソールに直接表示されます。Amazon Mechanical Turk との統合により、50 […]

Read More