Amazon Web Services ブログ

Category: AWS re:Invent

Amazon Managed Blockchain は AWS re:Invent 2019 のセッションおよびワークショップを録画しました

AWS re:Invent は、ユースケースについてお客様により深く学んでいただくとともに、当社がサービスについてフィードバックを受け、新たな機能および性能についての情報を共有できる素晴らしい機会です。Amazon Managed Blockchain チームは、いくつかのセッションおよびワークショップを開催しました。お客様がブロックチェーン技術を活用する方法に焦点を当てるとともに、ブロックチェーンアプリケーションの構築について詳しく説明しました。以下は、録画されたセッションおよびワークショップのチュートリアルへのリンクです。 BLC204 – ブロックチェーンを使用したエンタープライズソリューション: Nestlé、Sony Music、Workday のユースケース ブロックチェーン技術は急速に進化しています。企業向けのブロックチェーンを活用する準備はできていますか? このセッションでは、ブロックチェーンのメリットと企業向けのユースケースについて学びます。また、Amazon Managed Blockchain の責任者である Jonathan Fritz、あるいは Nestlé、Sony Music Entertainment Japan、Workday などのお客様から直接話を聞くこともできます。 セッションビデオ完全版 各社へ直接スキップする場合: Workday Sony Music Nestlé BLC301 – Managed Blockchain の詳細 独自のインフラストラクチャでエンタープライズブロックチェーンアプリケーションを構築することは、多くの場合、費用がかかり、複雑で、時間がかかります。Amazon Managed Blockchain を使用すると、インフラストラクチャを設定および管理する必要がなくなるため、スケーラブルなブロックチェーンアプリケーションを簡単に構築でき、ビジネス向けのアプリケーションの作成に集中できます。このテクニカルセッションでは、Managed Blockchain の機能、API、Hyperledger Fabric SDK、および新しいメンバーを追加してファブリックチャネルに参加する方法について詳しく説明します。また、デモアプリケーションとサンプルコードを使用して、Managed Blockchain でアプリケーションを構築する方法も示します。 セッションビデオ完全版 Workday へ直接スキップ BLC201 – Managed Blockchainを使用して初めてのブロックチェーンアプリケーションを構築する Amazon Managed Blockchain […]

Read More

AWS re:Invent 2019 の Amazon DynamoDB 関連のビデオとスライドデッキ

このブログ記事には、AWS re:Invent 2019 の基調講演と Amazon DynamoDB 関連セッションのビデオとスライドデッキへのリンクが含まれています。ビデオ録画は、ワークショップ、チョークトーク、ビルダーセッションのものではありません。この記事の発行時点では、すべてのスライドデッキをダウンロードできるわけではありませんが、利用可能なデッキが増えたらこの記事を更新します。 基調講演 AWS re:Invent 2019、Andy Jassy の基調講演 (12 月 3 日、火曜日) AWS CEO の Andy Jassy が、AWS のお客様、製品、サービスに関する洞察と最新ニュースを、変革に重点を置いてお話します。 AWS re:Invent 2019、Werner Vogels の基調講演 (12 月 5 日、木曜日) AWS VP および CTO の Werner Vogels が、ベールを取り払い、AWS Nitro、Firecracker、AWS Fargate、Amazon EBS の背後にある革新について説明します。 セッション レベル 200 – 入門 ARC213-R – マルチリージョン、アクティブ-アクティブアーキテクチャのアーキテクチャパターン (スライドデッキをダウンロード) グローバルビジネスでは、マルチリージョン、アクティブ/アクティブアーキテクチャを実装できるようにする必要性が高止まりしています。これには高度な考え方と注意が必要ですが、これはアプリとデータベースの設計に限ったことではなく、DNS、モニタリング、トラフィックシェーピングにもいえることです。アーキテクチャの複雑さは急速に増大する可能性があるため、複数の設計上のトレードオフを行う必要があります。このセッションでは、課題や、DynamoDB […]

Read More

Amazon DocumentDB (MongoDB 互換) re:Invent 2019 まとめ

Amazon DocumentDB チームは、AWS re:Invent 2019 で皆様と直接お会いしてフィードバックやユースケース、次に構築してほしいサービスなどのご希望を伺い、楽しい時間を過ごすことができました。私にとっての re:Invent の見どころは、FINRA と フルフィルメント by Amazon (FBA) による、2 つのお客様導入事例のプレゼンテーションでした。どちらにも、Amazon DocumentDB への移行に至るまでのそれぞれの遍歴や、開発者の効率性を向上しながらアプリケーションのスケーリングを高速化した方法についてお話しいただきました。 このブログ記事では、re:Invent 2019 からの Amazon DocumentDB 録画セッションについてまとめていきます。 DAT372 – データベースを Amazon DocumentDB へ移行する Amazon DocumentDB のシニアスペシャリストソリューションアーキテクトである Jeff Duffy が、顧客戦略および Amazon DocumentDB への移行の際の検討事項の概要についてお話しします。セッションには、リレーショナルおよび非リレーショナルソース、移行のフェーズ (検出/計画/テスト/実行)、クラスターサイジング、および移行ツーリングについてのディスカッションが含まれます。セッションの目玉となったのは、FINRA が XML を利用して、どのようにしてリレーショナルデータベースから Amazon DocumentDB へ移行したかについての講話でした。アプリケーションから必要とされる変換レイヤーがないため、FINRA は Amazon DocumentDB によって JSON をデータベースでネイティブに使用し、よりスピーディーな移行を行えています。また、FINRA は Amazon DocumentDB がどのように SLA とセキュリティ要件の高い基準を満たしたかについても説明しています。 […]

Read More

[AWS Black Belt Online Seminar] AWS re:Invent 2019アップデート速報 資料公開

先日 (2019/12/06) 開催しました AWS Black Belt Online Seminar「AWS re:Invent 2019アップデート速報」の資料を公開しました。   20191206 AWS Black Belt Online Seminar AWS re:Invent 2019 アップデート速報 AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます)   <ラスベガスでのライブ配信の裏側> 今回の Black Belt は遠い海外はアメリカのネバダ州、ラスベガスからのライブ配信でした。日本で配信するときは AWS Webinar チームがサポートするのですが、ラスベガスでは SA 小林が孤独に一人で対応しました。 いつもは真面目なブログを心がけている AWS Webinar チームですが、今回は特別に SA 小林によるラスベガスでの単独ライブ配信の裏側をこそっとお見せしたいと思います。   ① あんなに明るい声で速報をお伝えしていた小林ですが、実際はホテルの一室で小さくなって対応してました。               ② もうちょっと近寄ったショットで。Webinar 配信は小スペースでも安定したインターネット回線さえあれば配信できます。配信は順調のようでトークが止まらない様子。         […]

Read More

Amazon Transcribe Medical を使用した医療音声文字変換の紹介

開発者がアプリケーションに医療音声テキスト変換機能を追加できるようにする新しい HIPAA 適格の機械学習自動音声認識 (ASR) サービスである Amazon Transcribe Medical を発表いたします。Transcribe Medical は、正確で手頃な価格の医療向け文字起こしを提供し、医療従事者、IT ベンダー、保険会社、製薬会社が、医師、看護師、研究者、請求代理人が医療記録の効率を改善するのを支援するサービスを構築できるようにします。この新しいサービスを使用すると、臨床医のオフィス、研究室、保険請求代理人との電話などで、より少ない労力で、より速く、より正確に、安全に臨床文書を完成させることができます。 ヘルスケアやライフサイエンスでの課題 HITECH (経済的および臨床的健全性のための医療情報技術) 法の実施に従って、医師は電子健康記録 (EHR) システムへの詳細なデータ入力を行う必要があります。ただし、臨床医は、EHR データ入力のメモを書くだけで、既存の医療業務に加えて、平均で 1 日 6 時間の追加勤務となることもあります。このプロセスは医師にとって時間と労力がかかるだけでなく、職場での燃え尽き症候群やストレスの主な要因であり、医師が患者を注意深く診察することを妨げ、結果として患者のケアが不十分になり、来院が急増します。手書きのメモ作成を支援するために医療書記が採用されていますが、このソリューションは高価であり、数千の医療施設に拡張するのが難しく、一部の患者は医療書記の存在を不快に感じ、症状に関する率直な議論につながりません。また、既存のフロントエンド口述ソフトウェアでは、破壊的で非効率的な句読点を明示的に発声するなど、医師がトレーニングを受けるか不自然に話す必要があります。さらに、メモを取ることの負担を軽減するために、多くの医療事業者が医師の音声メモを手動転写サービスに送っていますが、これは 1〜3 営業日かかる場合があります。 加えて、ライフサイエンス業界が精密医療に移行するにつれて、製薬会社は医薬品の有効性や潜在的な副作用を引き起こす可能性に関してリアルワールドエビデンス (RWE) を収集する必要性が高まっています。ただし、RWE は電話での会話に取得されることが多く、その場合は文字起こしする必要があります。 Transcribe Medical は、正確で手頃な価格の使いやすい医療用音声認識サービスを実現することにより、こうした課題に対処するのに役立ちます。 機械学習による医療用文字起こしの改善 Transcribe Medical は、あらゆる音声対応アプリケーションに統合できて、マイクを備えたほぼすべてのデバイスで動作する使いやすいストリーミング API を提供します。このサービスは、プライマリケアのための医療音声を文字起こしするように設計されており、数千の医療提供者に大規模にデプロイして、臨床スタッフと施設に手頃な価格で一貫性のある安全で正確なメモを取る機能を提供できます。自動句読点やインテリジェントな句読点などの追加機能を使用すると、「カンマを追加」や「感嘆符」など、議論の一部として厄介で明示的な句読点コマンドを発声することなく、自然に話すことができます。 さらに、このサービスは、医療用口述筆記と会話文字起こしの両方をサポートしています。 Transcribe Medical は完全マネージド型 ASR サービスであるため、サーバーのプロビジョニングや管理は必要ありません。パブリック API を呼び出して、安全な WebSocket 接続を使ってサービスに音声ストリームを渡すだけです。Transcribe Medical は、テキストストリームをリアルタイムで送り返します。Transcribe Medical を使用するために機械学習の経験は必要ありませんし、このサービスは AWS のHIPAA 適格および BAA […]

Read More

アマゾン ウェブ サービス が BERT および Mask R-CNN における最速トレーニングタイムを達成

今日最も多く使用されている機械学習モデルには 2 つあります。自然言語処理 (NLP) 用の BERT と、画像認識用の Mask R-CNN です。AWS では、この数か月にわたり、これら 2 つの良く使われている先進的なモデルにおいて最短のトレーニング時間を達成するため、基盤となるインフラストラクチャ、ネットワーク、機械学習 (ML) フレームワーク、モデルコーディングなどに、大幅な改良を加えてきました。TensorFlow、MXNet、PyTorch に関しクラウド上でこれまで記録された最短のトレーニング時間を、本日、皆様と共有できることを、心から喜んでおります。お客様は、ご自身の TensorFlow、MXNet、PyTorch のモデルでのトレーニングに、これらのハードウェアとソフトウェアに関する最適化手法を、当社と同じ効率とスピードでご利用になれます。 モデルに対するトレーニング時間は、そのモデルの精度への改良を、素早く繰り返すときの作業性に直接影響します。トレーニング時間を削減しようとするときに最初に考えられる手法とは、GPU インスタンスの大規模なクラスターを通じて、トレイニングジョブを供給するということです。しかしこれでは、効率を高めることは困難です。大量のワーカーを通じてトレーニングジョブを供給しても、しばしば、急速にその効果が薄れてしまうことがあります。インスタンス間の通信におけるオーバーヘッドが、GPU を追加した分のコンピューティングパワーを帳消しにしてしまうからです。 BERT 現在、普及している NLP モデルである BERT、つまり Bidirectional Encoder Representations from Transformers は、当初は、いくつかの一般的な NLP タスクを処理するための最新手法として公開されたものです。 NVIDIA V100 GPU を 8 個使用する単一の Amazon EC2 P3dn.24xlarge インスタンスにおいて、TensorFlow と PyTorch を使いながらこの BERT をゼロからトレーニングするには、およそ 3 日間を要します。当社では、Elastic Fabric Adapter (EFA)を使用しつつ、このモデルを大規模クラスター上で集中させる方法を最適化しながら、P3dn.24xlarge インスタンスへの効率的なスケールアウトを実行し、3 […]

Read More

AWS Fargate 上の Amazon EKS を一般公開

本日より、皆さんは、Amazon Elastic Kubernetes Service を使用して、AWS Fargate の上でKubernetes ポッドを利用できます。Amazon EKS と Fargate は、AWS 上での Kubernetes ベースのアプリケーションの実行をわかりやすいものにします。ポッドを用意して、そのインフラストラクチャを管理する必要がなくなるからです。 AWS Fargate では、コスト最適化され、可用性の高いクラスターを稼働するのに、Kubernetes 運用の専門的な知識は必要ありません。Fargate は、お客様が Amazon EKS クラスターのためにEC2 インスタンスを作成し、管理する必要をなくします。 もはや、クラウド上で Kubernetes アプリケーションを実行するため、EC2 インスタンスのクラスターのパッチング、スケーリング、セキュア化の問題で頭を悩ませる必要はなくなります。Fargate を使えば、リソースを定義し、ポッドレベルでその支払いを行えます。これにより、アプリケーションごとに適切なサイズのリソースを利用することが容易になり、ポッドごとのコストを明確に知ることができます。 このブログの後半では、新しい機能を試してみて、Amazon EKS を Fargate 上で使用し、シンプルな Kubernetes ベースのアプリケーションをデプロイしてみましょう。 クラスターを構築する クラスタのセットアップを行う最も簡単な方法は、EKS の正式な CLI ツールである eksctl を使用することです。以下のコマンドは、ワーカーノードのない、demo-newsblog というクラスターを作成します。 eksctl create cluster –name demo-newsblog –region eu-west-1 –fargate この 1 行のコマンドは、実に多くのことを行います。クラスターを作成するばかりでなく様々な事柄を行いますが、とりわけ、Fargate […]

Read More

Amazon SageMaker Processing – フルマネージドなデータ加工とモデル評価

2019年12月3日 Amazon SageMaker の新しい機能であり、データの前処理や後処理、モデルの評価といったワークロードをフルマネージドなインフラストラクチャの上で簡単に実行する機能である、Amazon SageMaker Processing を発表できることを嬉しく思います。 精度の高い機械学習(ML)モデルを学習するためには、多くの異なるステップを必要としますが、以下のようなデータの前処理より重要なものはないでしょう。 機械学習アルゴリズムが活用できる入力フォーマットへデータセットを変換 カテゴリカル特徴量のOne-Hot エンコーディングのような、既存の特徴量をさらに表現力の高い特徴量へ変換 数値型特徴量のリスケールや平準化 住所をGPSの座標に置き換えるような、高レベルな特徴量の作成 自然言語処理を適用するための文章のクリーニングやトークン化 これらのタスクは、データセットに応じて異なるスクリプトを実行することになり、そして、後で学習の際に使われるための加工済データを保存します。あなたが想像する通り、機械学習チームにとって、これらを手作業で行ったり、自動化ツールを構築してスケールさせることは魅力的なな計画とは言えません。同様のことが後処理ジョブ(フィルタリングや照合など)やモデル評価ジョブ(異なるテスト用データセットに対するスコアリング)にも言えるかも知れません。 これらの課題を解決するために、 Amazon SageMaker Proscessing が開発されました。より詳細をご紹介させて下さい。 Amazon SageMaker Processing の紹介 Amazon SageMaker Processing はデータサイエンティストと機械学習エンジニアが前処理、後処理、モデル評価といったワークロードを Amazon SageMaker 上で簡単に行うための新しい Python SDK を導入します。 この SDK はデータセットの変換のために使われるおそらく最も人気のあるライブラリである scikit-learn 向けの SageMaker の組み込みコンテナを使います。 必要に応じて、特定の Docker イメージに制限されることなく、独自の Docker イメージをお使い頂くことが出来ます。これにより、最大限の柔軟性を提供し、SageMaker Processing や Amazon ECS や Amazon Elastic Kubernetes Servicesなどの AWS […]

Read More

新機能 – AWS ECS Cluster Auto ScalingによるECSクラスターの自動スケーリング

本日、AWS ECS Cluster Auto Scalingを発表します。この機能は、スケールアウトを高速化し信頼性を向上させる、クラスター内の空きキャパシティ管理の提供と、スケールイン時に終了されるインスタンスの自動管理を提供し、クラスターの自動スケーリングをより使いやすいものにします。 ECS Cluster Auto Scalingを有効にするには、Capacity Providerと呼ばれる新たな項目を設定する必要があります。1つのCapacity Providerは1つのEC2 Auto Scaling Groupに関連づきます。あるAuto Scaling GroupにECS Capacity Providerを関連付け、ECSクラスターにCapacity Providerを追加すると、ECSの次の2つの新機能を用いてクラスターを自動スケールできるようになります。 管理されたスケーリング。Capacity Provider Reservationという新しいメトリックに対応するスケーリングポリシーが自動的に生成され、Auto Scaling Groupにアタッチされます。 管理されたインスタンス保護。スケールイン時にコンテナーからインスタンス終了を把握できるようになります。 これらの新機能により、ECSクラスターのスケールイン・スケールアウト時の制御が可能になります。 Capacity Provier Reservation Capacity Provider Reservationと呼ばれる新しいメトリックを導入します。クラスター内のすべてのECSワークロード、つまり既存のもの、新規のもの、変更になるもの、これらすべてが必要とする、クラスターリソースの割合(パーセンテージ)が計測されます。このメトリックはCPUやメモリ使用率を用いるよりも確度の高い、素早いスケールアウトを実現するために用いられ、またクラスター内の空きキャパシティを把握することもできるようになります。また、インスタンスを新規起動せず追加のコンテナーを素早く起動できるか、といった判断も可能になります。 管理されたインスタンス保護 インスタンス保護機能により、スケールインに際してどのインスタンスを削除できるかをECSに知らせることができます。これにより稼働中のコンテナーの中断を最小限に抑えられるようになります。運用コストの最適化、またECSで稼働するコンテナーワークロードの可用性向上に役立つ機能です。 ユーザーの利点 これまで、自動スケールするコンテナーワークロードを運用していたユーザーは、多くの場合、メトリックベースのスケーリングを使っていました。メトリックの例にはCPU使用率やメモリ使用率といったものがあり、この変化に基づいてクラスターインスタンスを追加、あるいは削除するべきかを判断するスケーリングポリシーを定義していました。 単一のワークロード、もしくは穏やかに負荷が上昇するワークロード群であれば、この方式でもうまくいく場合が多かったと考えます。しかし同一クラスター上で複数種類のワークロードを稼働させるケース、また急激な負荷上昇が見込まれるワークロードに対しては、スケーリングの問題が頻発していました。理想的には、その時点のクラスターサイズで収容しきれないようなワークロードの増加に対しては、クラスターサイズをスケールアウトさせるようなスケーリングポリシーが必要です。 既存のメトリクスがコンテナー全体を対象にしたものではなく、またその時点で使用中のリソースのみを表現するものである以上、スケールアウトが緩慢に、また不安定になってしまうことは避けられませんでした。加えて、クラスター内のどこでコンテナが稼働しているのかをスケーリングポリシーが把握できないため、スケールインに際して不用意にコンテナーを終了させてしまう場合もありました。この問題はコンテナーワークロードの可用性を低下させる要因になっていました。コンテナーインスタンスの追加台数の準備、追加のスクリプト開発、あるいは手動運用などでの回避は、すべて運用コストの増大を招いていたと言えます。 スケールしてみよう! この機能をよく理解するには手を動かしてみるのが一番だと思います。 Amazon ECS Cluster Auto Scalingは、マネジメントコンソール、AWS CLI, Amazon ECS APIのいずれからも操作可能です。この例ではAWS CLIを用い、ターミナルからクラスターを作成する流れを見ていきます。 まず2つのファイルを作成します。ひとつ目はdemo-launchconfig.jsonで、EC2 Auto Scaling Groupに起動するAmazon Elastic […]

Read More

Amazon SageMaker Debugger – 機械学習モデルのデバッガ

2019年12月3日、機械学習(ML)学習時に起こる複雑な問題を自動的に識別する Amazon SageMaker の新しい機能、Amazon SageMaker Debugger を発表できて非常にうれしく思います。 機械学習モデルの構築と学習は、サイエンスと工芸の融合です(魔術と言う人もいます)。データセットの収集から準備、さまざまなアルゴリズムの実験、最適なトレーニングパラメーター(恐ろしいハイパーパラメーター)の探索まで、機械学習を実行する人は高性能のモデルを提供するために多くのハードルをクリアする必要があります。これがまさに、機械学習ワークフローを簡素化し高速化する、モジュール式のフルマネージドサービス Amazon SageMaker を構築する理由なのです。

Read More