Amazon Web Services ブログ

AWS Korea

Author: AWS Korea

Scikit Docker コンテナを構築して、Amazon SageMaker で Scikit-learnモデルのトレーニングとホストを行う

re:Invent 2017 で登場した Amazon SageMaker は機械学習モデルを規模に応じてビルド、トレーニング、デプロイするためのサーバーレスデータサイエンス環境を提供します。お客様はまた、Scikit-learn など、最も身近なフレームワークで作業できます。 このブログ記事では次の 2 つの目標に沿って進めていきます。まずは、Amazon SageMaker がモデルのトレーニングやホストのためにどのようにコンテナを使用するかについて、高水準の説明を行います。続いて、Amazon SageMaker で Scikit モデルのトレーニングおよびホスト用に Docker コンテナをビルドする方法について説明します。 概要では、モデルのトレーニングとホスト用に Amazon Elastic Container Service (ECS) からロードされた Docker イメージが Amazon SageMaker 上でどのように実行されるかについて説明します。また、トレーニングコードや推論コードなど、SageMaker Docker イメージの仕組みについても説明します。 そのため、Amazon SageMaker で Scikit モデルをビルド、トレーニング、デプロイする方法についてのみ興味をお持ちの場合は、概要の部分を飛ばしてお読みください。SageMaker で最小限の手間で Scikit モデルをコンテナ化するかについて、ハンズオンでもご覧いただけます。 目次 Amazon SageMaker 用コンテナの概要 Scikit-学習との連携のビルド Amazon SageMaker 用コンテナの概要 SageMaker は、ユーザーがアルゴリズムをトレーニングし、デプロイできるように、Docker コンテナの用途を拡張します。開発者とデータサイエンティストたちは、コンテナを活用することで Docker をサポートするあらゆるプラットフォームで着実に稼動する標準化されたユニットにソフトウェアをパッケージングできるようになります。コンテナ化することで、コード、ランタイム、システムツール、システムライブラリ、設定などのすべてを 1 か所にまとめ、環境から分離し、どこで開始するかに関係なく、一貫したランタイムを確保します。 […]

Read More

AWS ドキュメントがオープンソースになり、GitHub でご利用可能に

今年に入ってから GitHub のリポジトリとして、AWS SDK の開発者ガイドを公開 (すべて awsdocs 組織で閲覧可能) し、関心を示した団体・組織を招いて、プルリクエスト (編集結果の送信) 方式で変更および改善への協力を募りました。 今日現在で、さらに 138 件の開発者ガイドとユーザーガイドが組織に追加されています。さらに皆さんからのリクエストが届くのを楽しみにしています。皆さんには正確さや分かりやすさの観点から、バグの修正、コードサンプルの改善 (または新しいサンプルの送信)、詳細の追加、 文や段落の書き換えなどにご参加いただけます。また新しい機能やサービスの開始についてさらに詳しく学んだり、ドキュメントの改善を追跡するために、コミット履歴を見ることもできます。 参加する 始める前に、関心のある AWS サービスについて Amazon Open Source Code of Conduct を一読し、Contributing Guidelines の文書をご覧ください (一般的に CONTRIBUTING.mdという名称)。その後、GitHub のアカウントをまだお持ちでなければ、アカウントを作成します。 変更または改善する内容を見つけたら、文書の HTML 版にアクセスし、ページの上部で Edit on GitHub (GitHub で編集) ボタンをクリックします。 この操作により、ソース形式 (一般的な Markdown または reStructuredText 方式) で文書を編集できるようになります。 ソースコードは文書を HTML、PDF、および Kindle 版で生成するために使用されます。 GitHub にアクセスしたら、鉛筆アイコンをクリックしてください。 これにより「フォーク」が作成されます。フォークとは独立した環境でファイルを編集できるようにファイルを別途コピーしたものです。 […]

Read More

新登場 – 使用量に応じた Amazon Chime 料金

私は Amazon Chime を定期的に高頻度で使用するユーザーで、私の同僚の大半も同様です。同僚たちそれぞれと行う数多くの継続的なポイントツーポイントセッションに加えて、私は AWS ブログチームのチャットルームと、AWS エバンジェリストのチャットルームにも参加しています。また、毎日数件のミーティングに参加し、Amazon Chime の会議機能を使用して月に何度か自分のミーティングを設定しています。毎月の請求額を実際に見ることはありませんが、私はユーザー 1 人につき月額 15 USD の Amazon Chime Pro プランを使用しています。 お客様からのフィードバックによると、これは定期的にミーティングをホストするユーザーにとっては値打ちのあるものですが、他の機能を使用するユーザーや、ミーティングをホストするよりも参加することのほうが多いユーザーにとってはこころもち高額すぎるようです。 使用量に応じた料金 これらのユーザーのニーズを満たし、Amazon Chime をさらに経済的にするため、AWS は 2018 年 4 月 1 日から実施される新しい使用量に応じた料金モデルを導入します。 最初の 30 日無料体験期間中、ユーザーはすべての Amazon Chime 機能に無料でアクセスできます。 体験期間終了後、ユーザーはユーザー同士のチャット、そしてミーティングへの参加の両方を無料で行うことができます。ミーティングをホストする日は、毎月の上限を 15 USD として、1 日あたり 3 USD が課金されます。履歴的な使用パターンに基づくと、これは実質上すべての Amazon Chime のお客様に対する全体的な値下げにつながります。 体験期間終了後にスケジュール機能とホスティング機能を使用するには、ユーザーが AWS アカウントに接続し、管理者がそのアカウント用に Amazon Pro 機能を有効にする必要があります。使用量ベースのモデルによって、管理者は組織内のユーザーそれぞれにライセンスを購入する必要がなくなりました。その代わりに、Active Directory 設定と […]

Read More

Amazon Polly が Nexmo の次世代型テキスト読み上げのユースケースを強化

この記事は Nexmo, the Vonage API Platform の プロダクトディレクター、ボイスアンド RTC、Roland Selmer 氏によるゲストブログ記事です。彼は Nexmo についてこのように述べています。「テキストメッセージング、チャット、ソーシャルメディア、音声などを通じて、リアルタイムかつ容易にカスタマーと情報を共有するのに必要なツールを提供することで、デジタルカスタマーエクスペリエンスを再考できるようにします。」 ビジネスがアプリケーションにコミュニケーション機能を統合できるようにするクラウドコミュニケーションプロバイダーとして、Nexmo, the Vonage API Platform は、 当社のカスタマーために提供している合成音声ユースケースの多くに役立つテキスト読み上げ (TTS) ソリューションが必要でした。私たちの選ぶソリューションは、Nexmo のグローバル TTS 製品を強化するために、当社のテクノロジー要件と製品哲学に合致している必要がありました。 Amazon Polly はこれらの基準のすべてを完璧に満たしていました。このパワフルなサービスは、Nexmo の合成音声ユースケースの核となるメインエンジンとなっています。このサービスは言語と音声で幅広い分野を網羅しています。 Amazon Polly を活用した Nexmo ユースケース Nexmo では、アプリケーショントゥパーソン (A2P) コミュニケーションのインターフェイスとして音声に注目しており、当社のカスタマーがこの最も自然なコミュニケーション方法を第一に独自のアプリケーションに統合できるようにします。Amazon Polly はその屋台骨と言えます。 特に、様々な業界のお客様が次に示す主要なユースケースにおいて、より良いビジネス収益を上げるために、Amazon Polly を活用した TTS を利用することができました。 音声放送 重大な音声アラート 着信通話通知 2 要素認証 (2FA) による PIN コードのフェイルオーバー音声配信 音声放送: […]

Read More

Auto Scaling が Amazon SageMaker で使用できます

AWS ML プラットフォームチーム担当製品マネージャーである Kumar Venkateswar は、Amazon SageMaker でオートスケールの発表の詳細を共有します。 Amazon SageMaker により、何千もの顧客が容易に Machine Learning (ML) モデルを構築、訓練、およびデプロイすることができました。当社は Amazon SageMaker のオートスケール対応により、本番稼働の ML モデルの管理をさらに容易にしました。インスタンスの必要があるスケールと照合するために数多くのインスタンスを手動で管理する代わりに、SageMaker に AWS Auto Scaling ポリシーに基づいてインスタンスの数を自動的にスケールさせることができます。 SageMaker は多くの顧客のために ML プロセスの管理を容易にしました。顧客がマネージド型 Jupyter ノートブックとマネージド型配布トレーニングを利用するのを見てきました。SageMaker は、マシン学習をアプリケーションに統合するため、顧客が推論のために SageMaker ホスティングにモデルをデプロイしたのを見てきました。SageMaker はこのことを容易にします。推論ホスト上でオペレーティングシステム (OS) または枠組みをパッチすることについて考える必要はなく、アベイラビリティーゾーン全体で推論ホストを設定する必要はありません。SageMaker にモデルをデプロイするだけで、残りの部分は処理されます。 今まで、エンドポイント (または本番バリアント) ごとのインスタンスの数とタイプを指定して、推論に必要なスケールを求める必要がありました。推論の容量が変更された場合、その変更に対応するために、ダウンタイムの発生なしに、各エンドポイントに対応するインスタンスの数またはタイプ、もしくはその両方を変更できます。プロビジョニングの変更が容易であることに加えて、顧客は SageMaker の管理機能をさらに容易にするために私たちが行っている方法を尋ねてきました。 Amazon SageMaker の Auto Scaling を使用して、SageMaker コンソールで、AWS Auto Scaling API と AWS […]

Read More

AWS Batch および Amazon SageMaker を使用してオンラインの化合物溶解度予測ワークフローを構築する

計算化学の分野の Machine Learning (ML) メソッドは、急速に成長しています。アクセスが容易なオープンソルバー (TensorFlow と Apache MXNet など)、ツールキット (RDKit 化学情報ソフトウェアなど)、オープン科学イニシアチブ (DeepChem など) は、毎日の研究でこれらのフレームワークを容易に使用できるようにします。科学情報分野では、多くのアンサンブル計算化学ワークフローが多数の化合物を消費し、さまざまな記述子特性をプロファイリングする能力を必要とします。 このブログ投稿では、2 段階ワークフローについて説明します。最初のステージでは、約 1100 の候補の分子を採取し、AWS Batch を使用して、Dockerized RDKit を使用した 2D 分子記述子を計算します。  MoleculeNet.ai – ESOLV からの元のデータセットには、各化合物の測定済みの logSolubility (mol/L) が含まれます。第 2 ステージでは、Amazon SageMaker を Apache MXNet で使用して、線形回帰予測モデルを作成します。ML モデルはトレーニングと検証の 70/30 分割を実行し、30 エポック後の RMSE = 0.925 で、適合度 (Rˆ2) は 0.9 になります。 このブログ投稿では、単純化された分子入力ライン入力システム (SMILES) の入力を処理するワークフローを作成し、その後、Amazon SageMaker に送出して、logSolubility […]

Read More

Amazon SageMaker が TensorFlow 1.5、MXNet 1.0、CUDA 9 をサポート

Amazon SageMaker の事前構築済み深層学習フレームワークコンテナが TensorFlow 1.5 および Apache MXNet 1.0 のサポートを開始。いずれも、SageMaker ml.p3 インスタンス上でより優れたパフォーマンスを出すために CUDA 9 最適化を活用します。パフォーマンスのメリットに加えて、TensorFlow での Eager の実行、MXNet での NDArrays の高度なインデックス作成機能など、最新の機能を活用できるようになります。変更内容の詳細についてはこちらとこちらをご覧ください。 Amazon SageMaker の事前構築型深層学習コンテナのご利用が初めての方は、使用方法について解説したサンプルのリポジトリをご覧ください。ユーザーが人間に理解しやすい様式で TensorFlow または MXNet のコードを書き、そのコードを Amazon SageMaker の分散型管理トレーニングクラスタやリアルタイムにホストされるエンドポイントへ送って処理できるようにします。これにより、ノートパソコン上のデータのサンプルで深層学習コードを書いたり、テストしたりし、その後、複数のマシンや GPU 環境のフルデータセット上で実行するために、容易に拡張する能力と柔軟性を提供します。 最新のコンテナを使用するには次のステップに従ってください。 次を使って SageMaker Python SDK の最新バージョンをインストール (または更新)pip install -U sagemaker ユーザーの新しいジョブではデフォルトで各フレームワークの最新バージョンが使用されます。しかし、ワークローでフレームワークの古いバージョンを使用する必要があるときは、次の手順でバージョンを指定できます。 MXNet の 場合: from sagemaker.mxnet import MXNet estimator = MXNet(entry_point=’mnist.py’, framework_version=’0.12’, role=role, […]

Read More

AWS 深層学習 AMI は現在、Chainer と最新バージョンの PyTorch と Apache MXNet をサポートしています

AWS 深層学習 AMI は、完全に設定された環境を提供するため、人工知能 (AI) の開発者とデータ科学者はすぐに深層学習モデルを使い始めることができます。Amazon Machine Images (AMI) には、柔軟で直感的な深層学習 (ディープラーニング) のフレームワークである Chainer (v3.4.0) のみならず、最新バージョンの Apache MXNet と PyTorch を含みます。 Chainer の Define by Run アプローチにより、開発者はトレーニング中にすぐに計算グラフを変更することができるようになります。これは、シーケンスからシーケンスへの翻訳や質疑応答システムなど、自然言語処理 (NLP) タスクに使用されるリカレントニューラルネットワーク (RNN) などのダイナミックニューラルネットワークを実装する上でより大きな柔軟性を与えます。Chainer は、Amazon EC2 P3 インスタンスに搭載されている NVIDIA Volta GPU の計算処理を加速するための NVDIA CUDA 9 と cuDNN 7 ドライバーを使う CuPy を利用するように設定されています。当社のステップバイステップのチュートリアルを使用して、Chainerをすぐに使い始めることができます。 Ubuntu と Amazon Linux に対応している深層学習AMI は、各深層学習フレームワークの公式な最新バージョンのビルド済pipバイナリを、Condaベースの仮想環境で分離して提供します。各フレームワークは、サポートする NVIDIA CUDA […]

Read More

いよいよモバイルワールドコングレスの開催です。コネクテッドカーのデモをご覧ください!

バルセロナ (私たちのお気に入りの都市のひとつ) で開催される Mobile World Congress 2018 (モバイルワールドコングレス) へ参加のご予定ですか? それなら、第 5 ホール、5E41 ブースで実施中の、コネクテッドカーのデモをお見逃しなく。 AWS Greengrass チームでは、コネクテッドカーで自動車業界がどう変わるかを実証するために Vodafone と Saguna の友人とともに、概念実証に取り組んできました。今回のデモは MEC (マルチアクセスエッジコンピューティング) の新進コンセプトに基づいて構築されています。 自動車メーカーは自社の車両に最新のデジタル技術を組み込みたいと考えてはいるものの、コスト、パワー、製品化までの時間といった懸念事項により、車両に搭載されたコンピューティングリソースへの大がかりなアップグレードは望んでいません。また、既に道を走っている車両への後付けによって生じるであろう問題については言うまでもありません。MEC はモバイルネットワークのエッジを活用すること、たとえば、アクセスネットワークのハブサイトの活用によって、処理リソースの負担を軽減します。このモデルは自動車メーカーが、ローレイテンシーのコンピューティングリソースを活用し、その一方で自動車を発展させ、車両の寿命をときには 20 年以上も延ばす技術を提供するのに一役買います。また、複雑さや車載部品のコストも抑制します。 MWC のデモでは Vodafone の 4G LTE ネットワーク上で、AWS Greengrass を活用する Saguna の AI 搭載 MEC ソリューションを使ったライブビデオフィードをストリーミングしています。今回のデモではドライバーの安全性に重点を置くとともに、他の人とのおしゃべりや車内の別のものに気をとられているドライバーの検知を目標としています。モバイルネットワークのエッジで稼動する、AI 搭載の動作追跡およびパターン検出機能を備える車載カメラをドライバーに向け、注意散漫の状態を検知し、ドライバーに警告するというものです。このアーキテクチャではほとんどのコンピューティング機能はモバイルネットワークのエッジで処理されることから、これを使用することで、自動車メーカーは既存の自動車にも機能強化を実装しやすくなります。 モバイルワールドコングレスに参加できない方もご心配は無用です。このソリューションのビデオはこちらからご覧いただけます。 — Jeff;

Read More

提供開始– AWS Serverless Application Repository

昨年、私は AWS Serverless Application Repository の準備をするように申し上げ、その内容について少し説明いたしました。このリポジトリは、できるだけ容易にサーバーレスアプリケーションとコンポーネントを AWS 上で検索、設定、デプロイできるように設計されています。また、AWS パートナー、エンタプライズ顧客、独立した開発者がそれぞれのサーバーレス作成を共有するための、理想的な場所でもあります。 提供開始 公開プレビューでの好感を得た後、AWS Serverless Application Repository は、一般公開され、今すぐ使い始めることができます。 消費者として、皆様はマシン学習、画像処理、IoT、および汎用作業を完璧に補完するサーバレスアプリケーションとコンポーネントの益々盛んなエコシステムを活用できるようになります。それらをそのまま設定し、消費するか、別に取り出して、機能を追加し、プルリクエストを作成者に送信することもできます。 発行者として、容易に Serverless Application Repository で寄稿を発行することができます。名前と説明を入力し、いくつかのラベルを選択して検索しやすくして、メニューから適切なオープンソースライセンスを選択し、README を提供して、ユーザーがすぐに使い始めることができるようにするだけです。次に、既存のソースコードレポにリンクを入力し、SAM テンプレートを選択して、セマンティックバージョンを指定します。 両方の操作を見てみましょう… サーバーレスアプリケーションを消費する Serverless Application Repository は、Lambda コンソールからアクセスできます。既存のアプリケーションを順を追ってみていくか、次のような検索を開始することができます。 「todo」の検索では、いくつかの興味深い結果が返されます。 詳細を確認するには、アプリケーションをクリックするだけです。 すでにアプリケーションの知識がある場合は、アプリケーションを設定し、それをすぐにデプロイできます。 各セクションを展開して、詳細を見ることができます。アクセス権限セクションは、使用する IAM ポリシーを示します。 また、テンプレートセクションは、アプリケーションをデプロイするために使用される SAM テンプレートを表示します。 テンプレートを調べて、テンプレートがデプロイされるときに作成される AWS リソースについて確認できます。また、テンプレートを自分独自のアプリケーションを作成し発行するための準備するための学習リソースとして使用することもできます。 ライセンスセクションは、アプリケーションのライセンスを表示します。 todo を展開するために、アプリケーションを指定し、[Deploy (デプロイ)] をクリックします。 デプロイは直ちに開始され、1 分以内に完了します (アプリケーションのデプロイ時間は、作成されるリソースの数と種類に応じて異なります)。 Lambda コンソールでデプロイされたアプリケーションすべてを確認できます。 現在は、SAM テンプレートで API […]

Read More