Amazon Web Services ブログ

re:Invent 2018 / 11月29日 アップデートのまとめ

みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、プロダクトマーケティング エバンジェリストの亀田です。 今日はAndy Jassy のKeynoteでの多くの発表を中心として、多くの発表がありました。その纏めをお届けします。 Glacier Deep Archiveが発表されました。(Pre Announce) S3 Glacier ディープアーカイブは Amazon S3 の最も低コストのストレージクラスであり、定期的にアクセスされないデータの長期保存とデジタル保存をサポートします。保存されたすべてのオブジェクトは、地理的に分散した 3 つ以上のアベイラビリティーゾーンにレプリケートおよび保存され、99.999999999% の耐久性によって保護され、12 時間以内に復元できます。 Amazon FSx for Windows File Serverが発表されました。 完全マネージド型の Windows ファイルサーバーに裏付けられたネイティブ Windows ファイルサーバーに、広く採用されている SMB (Server Message Block) プロトコルを介してアクセスできます。SSD ストレージで構築されている Amazon FSx for Windows ファイルサーバーは、一貫したミリ秒未満のパフォーマンスを提供します。 Amazon FSx for Lustreが発表されました。 オープンソースプロジェクトであるLustreをベースにした高並列なファイルシステムであり、ペタバイトスケールのファイルシステムに対するミリ秒以下でのアクセスをサポートします。数千のクライアント(EC2インスタンスやオンプレミスサーバー)による同時アクセスにより、数百万IOPS(Input/Output Operation per Second)や数百GB/secものデータ転送を行うことが可能です。各ファイルシステムはNVMe SSDストレージにより構成されており、3.6 TiB単位でプロビジョンされ、1 TiBごとに200 […]

Read More

Amazon 独自の「Machine Learning University」がすべての開発者にご利用いただけるようになりました

今日は、Amazon のエンジニアを訓練するために使用されるものと同じ機械学習コースが、AWS を通して初めてすべての開発者にご利用いただけるようになったことをお知らせしたいと思います。 私たちは 20 年以上もの間、Amazon 全体において機械学習を使用してきました。社内全域で機械学習に重点を置くエンジニアを何千人も抱える Amazon では、ほとんどすべての小売ページ、製品、フルフィルメントテクノロジー、および店舗が何らかの形で機械学習の使用を通じて改善されています。AWS のお客様の多くがこの熱意を共有しておられ、私たちは大規模で十分な資金を持つ組織にしか手の届かなかったテクノロジーを、すべての開発者が利用できるようにすることを使命としてきました。Amazon SageMaker、Amazon Rekognition、Amazon Comprehend、Amazon Transcribe、Amazon Polly、Amazon Translate、および Amazon Lex などのサービスのおかげで、何万人もの開発者が機械学習を通じてよりインテリジェントなアプリケーションを構築する過程を歩んでいます。 機械学習の旅のどの地点にいるかにかかわらず、お客様から頻繁にいただく質問は「どのようにチームにおける機械学習スキルの成長を迅速化できるか」というものです。 機械学習のための新しい AWS トレーニングと認定の一環として利用できるこれらのコースは、この質問に対する回答の一部になりました。 これには、セルフサービス、かつ自分のペースで進めることができる 30 を超えるデジタルコースがあり、開発者、データサイエンティスト、データプラットフォームエンジニア、そしてビジネス専門家の 4 つの主要グループのための 45 時間以上におよぶコース、ビデオ、およびラボで構成されています。各コースは基礎から始まり、現実的な例とラボを経て基礎を強化していくため、開発者は Amazon で解決しなければならなかったいくつかの興味深い問題を通じて機械学習を掘り下げていくことができます。これには、ギフト包装対象資格の予測、配達ルートの最適化、または Amazon の子会社である IMDb からのデータを使用したエンターテイメント賞ノミネートの予測などが含まれます。コースワークはベストプラクティスの確立に役立ち、Amazon SageMaker、AWS DeepLens、Amazon Rekognition、Amazon Lex、Amazon Polly、および Amazon Comprehend を含む様々な AWS 機械学習サービスの使用を開始する方法を実演します。 機械学習のための新しい AWS 認定 今日は、開発者がその知識を実証する (そして雇用主がより効率的に雇用する) ために役立つ、新しい「AWS 認定機械学習 – 専門知識」認定についてもお知らせします。この試験は今すぐ受けていただくことができます […]

Read More

新サービス License Manager – ソフトウェアライセンスの管理とライセンスルールの保全

BYOL(Bring Your Own License)を使用してAWSクラウドで商用ライセンスソフトウェアを使用する場合、不必要なライセンス調達を避けつつ、ライセンス条項の範囲内に収まるように展開を管理する必要があります。必要に応じてオンデマンドでインスタンスを起動したい場合、これは難しい課題です。 新サービス “AWS License Manager” 2018年11月28日、AWS License Managerをローンチしました。このサービスはライセンスルールを定義して、その中にエンタープライズ契約やライセンスされたソフトウェアの使用に適用されるその他の条件を考慮に入れるよう設定することができます。そして、定義したルールは展開メカニズム(ゴールデンAMIまたは起動テンプレート)に関連付けることができます。ルールが適用され起動されたEC2インスタンスは自動的に追跡されます。 また、1つまたは複数のAWSアカウントで使用状況を検出し、AWS管理コンソールからすべての使用状況を追跡することもできます。 それでは簡単に機能を見ていきましょう。ここでは、エンタープライズデータベース用のvCPUライセンスを100持っていると仮定します。 最初のステップは、1つ以上のライセンス設定を定義することです。 ライセンスマネージャコンソールを開き、[Create license configuration]をクリックして開始します: 構成の名前と説明を入力し、ライセンスがvCPUに基づいており(最大100に制限されています)、ライセンス数を限定強制したい事が示されます(Enforce license limit チェックボックスをオン): また、新たなライセンスルールを作成することもできます。 ルールは、EC2の構成に対するライセンスの適用可否を制御します。 vCPUの最小数や最大数、EC2テナントタイプ (共有、専有インスタンス、Dedicated Host) を指定できます。 例えば 4~64のvCPUと共有テナントを指定するルールは次のようになります: ルールが正しく定義されていることを確認し、Submitをクリックして次に進みます。 これで、ライセンスルールは準備が整いました。この画面ではルールの一覧が表示されており、私が作成したものと、他の人が作成したものも見る事が出来ます: ライセンスルールを作成したら、ルールを選択して[Actions]メニューの[Associate AMI]をクリックしてAMIと関連付けることができます。 1つ以上のAMIを選択し[Associate]をクリックします: 全体的なライセンスの使用状況を一目で確認できます(これは、複数のアカウントとAWS Organizationsと連携して機能するセントラルダッシュボード画面です): [Settings]をクリックして自分のAWS Organizationsアカウントにリンクし、クロスアカウントインベントリ検索を設定してライセンスの使用制限を逸脱したとき、SNSアラートを受信するように設定することも出来ます: その他 ここではAWS License Managerについてその他のいくつか知っておくべきことについて触れます: サポートされるライセンスタイプ – AWS License ManagerはvCPU、物理コア、物理ソケットをベースとしたライセンスをサポートします。特定のソフトウェアベンダーに紐づくものではありません。 クロスアカウントの使用管理 – AWS License Managerは、AWS Organizationsと組み合わせて使用する事が可能です。 マスターアカウントに署名した全てのアカウントでリンクし、組織全体でライセンス設定を共有することができます。 ダッシュボードを使用して、組織全体のライセンス使用状況を確認することができます。 […]

Read More

AWS App Meshが発表になりました。

みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、エバンジェリストの亀田です。 AWS App Meshが発表されました。 AWS App Mesh App Meshは、マイクロサービスの通信方法を標準化し、エンドツーエンドの可視性を提供し、アプリケーションの高可用性を確保することで、AWS で実行されているマイクロサービスのモニタリングと制御を容易にします。 アプリケーション内のすべてのマイクロサービスに一貫した可視性とネットワークトラフィック制御を提供することで、マイクロサービスを簡単に実行できます。 App Mesh を使用すると、アプリケーションコードを更新して、監視データの収集方法やマイクロサービス間のトラフィックのルーティング方法を変更する必要がなくなり、監視データをエクスポートするように各マイクロサービスを構成し、アプリケーション全体で一貫した通信制御ロジックを実装します。 これにより、エラーの正確な場所をすばやく特定し、障害が発生した場合やコード変更を展開する必要がある場合にネットワークトラフィックを自動的に再ルーティングすることが容易になります。 Amazon ECS および Amazon EKS でApp Meshを使用すると、コンテナー化されたマイクロサービスを大規模に実行できます。 App Mesh はオープンソースの Envoy プロキシを使用しているため、マイクロサービスを監視するための幅広い AWS パートナーおよびオープンソースツールと互換性があります。 App Meshは、すべてのマイクロサービスからメトリック、ログ、トレースを一貫してキャプチャします。 このデータを組み合わせて Amazon CloudWatch、AWS X-Ray、および互換性のある AWS パートナーおよびコミュニティツールにエクスポートし、モニタリングとトレースを行うことができます。 これにより、マイクロサービスに関する問題をすばやく特定して切り分け、アプリケーション全体を最適化できます。 – プロダクトマーケティング エバンジェリスト 亀田

Read More

新機能 – EC2インスタンスの休止

ご存知のようにAWSでは、必要なタイミングで必要なだけのEC2インスタンスを起動し、スケール自在なシステムを容易に構築することができます。このときインスタンス自体は数秒で起動するものの、OSとその上で稼働するアプリケーションの起動には一定の時間が掛かります。またキャッシュアプリケーションなど、大量のメモリを用いるアプリケーションを起動し、必要なデータをメモリに展開するのにも時間が必要であり、時には10分以上要することがあります。こういった背景があることから、キャパシティを迅速に増加させられるようにインスタンスを前もって起動しておく方法が採られますが、この場合つい起動し過ぎてしまうということがあります。 EC2インスタンスの休止(ハイバネーション) 本日私たちは、起動したEC2インスタンスを希望したようにセットアップしたのちに、そのEC2インスタンスを休止させ、また再開できる機能を発表します。休止プロセスはそのインスタンスのメモリ状態を保管し、また休止したタイミングで設定されていたプライベートIPアドレスとEIPを保持します。

Read More

Amazon FreeRTOSでBluetooth Low Energyが利用可能、Espressif ESP32で利用する例

Amazon Web Services (AWS) は、Amazon FreeRTOS BLEのベータ版を発表しました。本機能により組み込み開発者が、Bluetooth Low Energy (BLE) を使用するAmazon FreeRTOSデバイスをAndroidまたはiOS端末を通して安全にAWS IoTと接続することができます。Amazon FreeRTOSのBLEサポートにより、Wi-Fiを含む他の接続方法よりも低消費電力が必要なデバイス向けの新しいアプリケーション開発が可能になります。 Amazon FreeRTOSのBLEサポートにより、汎用的なAPI経由で標準のGeneric Access Profile (GAP)やGeneric Attributes (GATT)プロファイルを利用することで、Amazon FreeRTOS対応デバイス間で移植可能なBLEアプリケーションの作成や、AndroidやiOS SDKsを利用してAWS IoT機能と統合することが可能です。BLEの仕様によると、GAPはBLEデバイスがどのようにブロードキャストを有効にし、相互接続するかを定義している。GATTは、コネクションが接続されるとどのようにデータが転送されるかを記述している。

Read More

Amazon SageMaker RL – Amazon SageMakerを使ったマネージドな強化学習

この数年、機械学習はたくさんの興奮をもたらしました。実際、医療画像分析 から自動運転トラックまで、複雑なタスクを機械学習によって成功させ、成長を遂げてきました。それにしても、どうやってこれらの機械学習モデルは賢くなっているのでしょうか? 端的には、機械学習のモデルは、以下の3つのいずれかの方法で学習されています。 教師あり学習:ラベル付きのデータセット(サンプルと答えを含む)を使って学習を実行します。徐々にモデルは学習し、正しい解を予測をするようになります。回帰と分類などが、教師あり学習の例として挙げられます。 教師なし学習: ラベルのないデータセット(サンプルのみを含む)を使ってアルゴリズムを実行します。ここでは、モデルはデータ中のパターンを徐々に学習し、それに応じてサンプルを編集します。クラスタリングやトピックモデリングなどが、教師なし学習の例として挙げられます。 強化学習: これは上の二つとはとても異なっています。ここでは、コンピュータープログラム(エージェントを指す)は環境と相互作用し、ほとんどの場合、これはシミュレータの中で行われます。エージェントは行動に応じて正または負の報酬を得ますが、報酬は、その行動がどれぐらい良いのかを表す数値表現を出力するユーザー定義関数によって計算されます。生の報酬を最大化することで、エージェントは最適な意思決定の戦略を学ぶことができます。

Read More

Amazon SageMaker Ground Truth — 高い精度のデータセットを構築し、ラベル付けのコストを最大70%削減

1959年、アーサー・サミュエルは機械学習を「明示的にプログラムされなくても新しいことを学べる能力をコンピュータに与える学問分野」と定義しました。しかし、機械仕掛けの神 (deus ex machina) など存在せず、学習プロセスにはアルゴリズム (「どのように学ぶか」) と学習用データセット (「何から学ぶか」) が必要です。 今日では、ほとんどの機械学習タスクは教師あり学習という技術を用いており、アルゴリズムはラベル付けされたデータセットからパターンや行動を学習します。ラベル付けされたデータセットにはデータサンプルに加え、それぞれに対する正しい答え、すなわち “ground truth” が含まれています。手元の問題に合わせて、ラベル付きの画像 (「これは犬」「これは猫」) を使ったり、ラベル付きのテキスト (「これはスパム」「これは違う」) を使ったりします。

Read More

新発表 – Amazon Forecast – 時系列予測を容易に

未来を予見する能力は、信じられないほどのスーパーパワーとなります。AWSは、あなたにその力を与えることはできませんが、機械学習において、数ステップで時系列の予測を行うお手伝いができます。 時系列予測のゴールは、毎週の売上、1日の在庫レベル、1時間ごとのウェブサイトトラフィックなどの時間依存データの将来の値を予測することです。 今日の企業は、シンプルなスプレッドシートから複雑な財務計画ソフトウェアまであらゆるものを使用して、製品需要、リソースニーズ、財務パフォーマンスなどの将来のビジネス成果を正確に予測しようとしています。 これらのツールは、時系列データと呼ばれる一連の履歴データを見て予測を作成します。例えば、そのようなツールは、レインコートの将来の売上を、過去の売上データと、未来が過去によって決定されるという前提をもとにして、単に予測しようとする場合があります。 このアプローチは、不規則な傾向を持つ大量のデータセットに対して正確な予測を生成するのに苦労する可能性があります。 また、時間とともに変化するデータ系列(価格、割引、ウェブトラフィックなど)を、製品の機能や店舗の場所などの関連する独立変数と簡単に組み合わせることもできません。

Read More

Amazon Personalize – すべてのユーザにリアルタイムパーソナライゼーションとレコメンデーションを

機械学習は、間違いなく広範囲にわたって取り組むべき魅力的なトピックを提供してきましたが、パーソナライゼーションやレコメンデーションほどのものはありません。 一見、ユーザーと好みのアイテムをマッチングするのは簡単な問題のように聞こえるかもしれません。しかしながら、効率的なレコメンデーションシステムを開発するのは難易度が高く、数年前にNetflix が 1 億円相当の懸賞金をかけて映画レコメンデーションコンクールを実施したほどです!事実、現時点でリアルタイムなパーソナライゼーションの仕組みを構築・最適化し、デプロイするには、分析・応用機械学習・ソフトウェアエンジニアリング・システム運用に特化したエキスパートが必要になります。ほとんどの組織はこれらの課題を克服するための知識・スキル、そして経験を持っておらず、レコメンデーションを利用するアイデアを諦めるか、パフォーマンスの低いモデルを構築するに留まっています。 20年以上もの間、 Amazon.com は、商品検索から決済まで購買経験のいたるところでパーソナライズされたレコメンデーションを統合しながら、大規模なレコメンデーションシステムを構築してきました (詳細な情報は次の文献を参照ください:”Two Decades of Recommender Systems at Amazon.com“)。 全ての AWS のお客様が同様のことをするお手伝いをするために、本日、Amazon Personalize を発表することができ幸せに思います。Amazon Personalize はパーソナライゼーションやレコメンデーションを機械学習の経験が殆ど無い開発者に委ねることが可能なフルマネージドサービスです! Amazon Personalize の紹介 Amazon Personalize はどのようにパーソナライゼーションとレコメンデーションをシンプルにしたのでしょうか?過去に発行した Blog で説明されているように、Factorization Machines のようなアルゴリズムを利用すると、Amazon SageMaker 上にレコメンデーションモデルを構築するのはすでに可能でした。しかしながら、この方法で良い結果を得るためには、大量のデータの準備と専門家によるチューニングが必要になると言わざるを得ません。 Amazon Personalize でレコメンデーションモデルを作るのはもっと簡単です。複雑な機械学習のタスクを自動化する新しいプロセスである AutoML を使うことで、Personalize は機械学習モデルを設計し、トレーニングし、デプロイするのに要求される難しい作業を実行し、高速化します。 Amazon Personalize は Amazon S3 に保存されているデータセットとストリーミングデータセット (JavaScript トラッカーやサーバサイドからリアルタイムで送られてくるイベントなど) の両方をサポートします。大まかな流れは次のようになります: ユーザー ID や アイテム ID に対応する […]

Read More