Amazon Web Services ブログ
機械学習と AWS Inferentia を使用した広告検証のスケーリング
Amazon Advertising は、15 を超える国々のウェブサイト、アプリケーション、ストリーミング TV コンテンツなど、Amazon のストア内外の両方で表示される広告を通じて、企業がブランドを構築し、お買い物をするお客様とつながるのをサポートします。Amazon Marketplace の登録販売者、ベンダー、書籍ベンダー、Kindle ダイレクトパブリッシング (KDP) の著者、アプリケーションデベロッパー、代理店など、あらゆる規模の企業やブランドが、独自の広告クリエイティブをアップロードできます。これには、画像、動画、音声のほか、Amazon で販売されている商品ももちろん含まれます。正確、安全、快適なショッピング体験を促進するために、これらの広告はコンテンツガイドラインに準拠している必要があります。 ここでは簡単な例を挙げます。次の広告のうち 2 つが準拠していない理由がおわかりでしょうか?
Read More機械学習によるメディアの社会的影響を読み解く
メディアが人々に利益をもたらすために最適化されていたとしたら? 考えを深めさせるこの疑問は、Harmony Labs のミッションの中核に存在しています。ニューヨーク市に本部を置く非営利団体である Harmony Labs は、メディアが社会に与える影響をより良く理解し、メディアシステムの改革と変革のためのコミュニティとツールを構築するよう尽力しています。 Harmony Labs のエグゼクティブディレクターである Brian Wanieswki 氏は次のように述べています。
Read MoreAmazon Transcribe Call Analytics で顧客との会話からインサイトを抽出する
この記事は、Extract Insights From Customer Conversations with Amazon Transcribe Call Analytics を翻訳したものです。 2017 年に発表された Amazon Transcribe は、音声をテキストに変換する機能をアプリケーションに簡単に追加できるようにする自動音声認識サービス (ASR) です。2021 年 8 月 4 日に発表された Amazon Transcribe Call Analytics は、1 回の API コールで顧客との会話から貴重なインサイトを簡単に抽出できる新機能です。 潜在的な顧客または既存の顧客との対話は、顧客のニーズや期待について学ぶ機会です。例えば、カスタマーサービスチームにとって重要なのは、顧客が電話をかけてきた主な理由を把握し、通話中に顧客満足度を測定することです。同様に、営業担当者は顧客の関心や特定のセールストークへの反応を測定しようとします。 したがって、コンタクトセンタープロバイダーに関わらず、多くの顧客やパートナーがさまざまなアプリケーションに通話分析機能を追加したいと考えています。電話以外 (例えば、ウェブベースの音声・ビデオ通話) の分析が必要になることもよくあります。これまでは、AI サービスや専用の機械学習モデルをつなぎ合わせてやりくりするのが一般的でしたが、もっとシンプルなソリューションが求められています。
Read Moreページングドクタークラウド! Amazon HealthLake が一般公開されました
AWS re: Invent 2020 ではAmazon HealthLake をプレビューしました。これは、フルマネージドの HIPAA 対応サービスです。さまざまなサイロやフォーマットで存在するヘルスケア及びライフサイエンスのお客様の健康情報を、構造化され一元化された AWS データレイクに集約します。分析と機械学習 (ML) を使用してそのデータからインサイト抽出を行います。今日、Amazon HealthLake が、 AWS のすべてのお客様にご利用いただけるようになったことをお知らせすることができて大変嬉しく思います。 医療データを迅速かつあらゆるスケールで保存、変換、分析する機能は、健康に関する質の高い意思決定に不可欠です。医師は日々の診療で、最善の対応を特定するために、患者の完全に時系列に沿った病歴を必要とします。緊急時には、医療チームに適切なタイミングで適切な情報を提供することで、患者の転帰を大幅に改善できます。同様に、集団の健康傾向や薬物治験対象者を特定するため、ヘルスケアやライフサイエンスの研究者にはモデルを分析・構築できる、質の高い標準化されたデータが必要です。 従来、ほとんどの医療データは、臨床メモなどの構造化されていないテキストに限定され、IT サイロに保存されてきました。異種混在のアプリケーション、インフラストラクチャおよびデータのフォーマットのせいで、医師が患者のデータにアクセスしインサイトを抽出することが困難な状態でした。その問題を解決するために Amazon HealthLake を構築しました。 今すぐ使ってみたい場合は、Amazon HealthLake の AWS コンソールに今すぐジャンプできます。さらに詳しく知りたい方は、このままお付き合いください。
Read MoreAmazon SageMaker がエンタープライズ MLOps プラットフォームの秀でたリーダーとして選出されました
ここ数年、機械学習 (ML) は、組織の効率性を高め、イノベーションを促進するうえで価値があることが証明されています。ML が成熟すると、当然、主眼は実験から本稼働へと移ります。一貫性のある信頼性の高い方法でモデルの構築、トレーニング、デプロイ、および管理を行うには、ML プロセスを合理化、標準化、および自動化する必要があります。セキュリティ、高可用性、スケーリング、監視、自動化など、長期的な視点から見た IT に関する懸念も重要です。優れた ML モデルは、24 時間 365 日、規模を問わず、ビジネスアプリケーションに迅速かつ正確な予測を提供できるのでなければ、あまりうまく機能しません。 2017 年 11 月、当社では、ML エンジニアとデータサイエンティストが最適なモデルを構築するだけでなく、それらのモデルを効率的に運用できるようにサポートするために、Amazon SageMaker の提供を開始しました。
Read MoreAWS Systems Manager の新機能である Incident Manager で IT インシデントを迅速に解決
IT エンジニアは、アプリケーションやインフラストラクチャを構築する自らの能力と配慮に誇りを持っています。しかし、私たちの誰もが、どれほど認めることを嫌がったとしても、100% のアップタイムのようなものは存在しません。ものは、いつしか故障します。そして、その故障が最悪の瞬間に重なることもよくあります。その結果、1 日の終わりや誕生日パーティー、果ては結婚式が台無しになる (ご興味があれば詳しくお話しましょう) ことも多々あります。 静けさを切り裂くポケットベルの音に、当番のエンジニアはサービスを復旧させるため急行します。1 分、1 秒も無駄にできません。たとえば、エンジニアは大量の監視アラートを迅速にフィルタリングし、インシデントの根本原因を特定できなくてはなりません。そんな一刻を争うとき、インシデントの解決に必要な用途別のランブックや手順を探し回って無駄な時間を費やす余裕などありません。午前 3 時、津波のように次から次へと押し寄せる真っ赤なアラートを前に、「どこかに書いておいたはずの」魔法のコマンドを必死に探しているところを想像してみてください。 これは決して心地よいものではありません。
Read Moreインスタンス料金の引き下げと Savings Plans for Amazon SageMaker で機械学習のコストを削減
AWS re:Invent 2017 で提供が開始された Amazon SageMaker は、機械学習 (ML) ワークフローを AWS で迅速に構築およびデプロイできるよう、これまでに既に数万人のお客様を支援してきたフルマネージド型サービスです。 お客様が投資に対して最大限 ML を活用できるようにするため、Managed Spot Training、Multi-Model Endpoints、Amazon Elastic Inference、AWS Inferentia など、コスト最適化のためのサービスと機能を追加してきました。実際、お客様は、3 年間の SageMaker の総所有コスト (TCO) が、セルフマネージドの Amazon EC2 や AWS 管理の Amazon EKS などの他のクラウドベースのオプションに比べて 54% 低いという事実を見出しています。 当社は、費用を削減してお客様を幸せにすることを至上の喜びとしているため、次のことを発表できることを嬉しく思います: Amazon SageMaker の CPU および GPU インスタンスの料金の引き下げ Amazon SageMaker のための Savings Plans の提供の開始。 Amazon SageMaker でのインスタンス料金の引き下げ 本日より、Amazon SageMaker […]
Read More新しい EC2 Serial Console による、起動とネットワーク問題のトラブルシューティング
本番稼働上の問題の修正は、システム管理者とネットワーク管理者の重要な役割の 1 つです。実際、私はいつも、それがインフラストラクチャエンジニアリングの最も興味深い要素の 1 つであることに気づきます。目の前の問題を必要に応じて深く掘り下げれば、問題解決に (最終的に) 満足できるだけでなく、その過程で通常であれば目にすることのできない多くのことを学べます。 オペレーティングシステムは、まさしくそうした機会を提供します。OS は時間とともにますます複雑化し、管理者はおびただしい数の構成ファイルや設定を習熟せざるを得ません。Infrastructure as Code やオートメーションによりサーバーのプロビジョニングや管理が大幅に向上しましたが、システムの正常な起動を妨げる間違いや故障が発生する余地は、常に存在しています。ハードウェアドライバーがない、ファイルシステムの構成が間違っている、ネットワーク構成が無効である、アクセス許可が不正であるなど、尽きることはありません。さらに悪いことに、管理者は多くの問題によって実質的にシステムから締め出され、ログインや問題の診断、適切な修正の適用を行えなくなります。唯一の選択肢はサーバーに帯域外接続を確立することで、そうすることでユーザーは EC2 インスタンスのコンソールの出力を確認することができます。操作はできません ― でした、これまでは。 本日、 EC2 Serial Console を発表できることをうれしく思います。こちらは、Amazon Elastic Compute Cloud (EC2) インスタンスへのシリアル接続を確立することで、起動やネットワーク接続の問題をトラブルシューティングする、簡単かつ安全な方法です。 EC2 Serial Console のご紹介 EC2 Serial Console アクセスは、AWS Nitro System をベースとする EC2 インスタンスで利用できます。主要な Linux ディストリビューション (FreeBSD、NetBSD、Microsoft Windows、VMware) のすべてをサポートしています。 実行中のネットワーク設定がなくても、AWS マネジメントコンソールのブラウザベースのシェル、またはマネージドコンソールサーバーへの SSH 接続を使用することで、インスタンスに接続することができます。インスタンスで sshd サーバーを実行する必要はありません。唯一の要件は、root アカウントにパスワードを割り当てていることです。ログインにはこれを使用します。その後、インスタンスのシリアルポートの 1 つに、キーボードとモニターを直接接続しているかのように、コマンドを入力することができます。 さらに、オペレーティングシステムに固有の手順をトリガーすることができます。 Linux […]
Read More新機能 – Amazon SageMaker Debugger を使用した機械学習トレーニングジョブのプロファイリング
今日は、皆さんに Amazon SageMaker Debugger が機械学習モデルのプロファイリングを実行できるようになったことをお知らせしたいと思います。これにより、ハードウェアリソースの使用率が原因で生じるトレーニング問題の特定と修正が極めて容易になります。 幅広いビジネス問題に対応する目覚ましいパフォーマンスにもかかわらず、機械学習 (ML) は今も謎めいたところがあるトピックです。物事の的確な実行は、サイエンス、職人技 (魔法と言う人もいます)、そして時には運を組み合わせた錬金術です。特に、モデルトレーニングは、結果がデータセット、アルゴリズムとそのパラメータ、そしてトレーニングを実行するインフラストラクチャの品質に応じて変化する複雑なプロセスです。 ML モデルがかつてない規模に増大し、ますます複雑になるにつれて (深層学習さん、あなたのことです) 拡大している問題のひとつに、モデルをトレーニングするために必要なインフラストラクチャの量があります。たとえば、一般公開されている COCO データセットでの BERT のトレーニングは、単一の p3dn.24xlarge インスタンスで実行すると、それに 8 個の NVIDIA V100 GPU が搭載されているにもかかわらず、6 時間を優に超える時間がかかります。自律走行車企業などのお客様には、はるかに大きなデータセットを扱い、オブジェクト検出モデルのトレーニングに数日間かけるお客様もおられます。 複雑なトレーニングジョブにこれだけの時間がかかると、何らかの不具合が生じてトレーニングが失敗に終わる可能性が非常に高くなり、時間を無駄にするだけでなく、大きないら立ちを感じる原因にもなります。調査を行い、根本的な原因をつきとめて修正を試み、それからトレーニングジョブを再度実行する間、重要な作業は後回しにしなくてはなりません。たいていの場合は、問題を突き止めるために、この手順をかなりの回数繰り返すことになります。 使用している ML フレームワーク、そして時にはそのバージョンによっては、既存のフレームワーク固有のツールを使用できるかどうかもわからず、多くの場合は、独自の特注ツールを構築して維持しなくてはならなくなります。これは、経験豊かなプラクティショナーでさえも大いに苦労する作業で、私のような普通のデベロッパーにとっては、気が遠くなるようなタスクでしかありません。 Amazon SageMaker Debugger のモデルプロファイリングのご紹介 去年の AWS re:Invent でローンチされた Amazon SageMaker Debugger は、ML トレーニングジョブで生じている複雑な問題を自動的に識別する Amazon SageMaker の機能です。これらの問題には、減少しない損失、および勾配爆発などが含まれます。 SageMaker Debugger がハードウェアリソースの使用率も監視できるようになった今、これからはトレーニングジョブをプロファイリングして、リソースの使用率とトレーニングスクリプトの ML オペレーションとの関連付けに役立てることができます。そうすることで、はるかに迅速にパフォーマンス問題を解決し、はるかに高速にトレーニングジョブを反復することができるようになります。 自動運転および運転者支援システムを構築する Intel 企業、Mobileye の […]
Read More新機能 – Amazon SageMaker の管理されたデータ並列化による大規模なデータセットを使用したトレーニングのシンプル化
今日は、数百から数千ギガバイトにおよぶデータセットでのモデルのトレーニングを容易にする、新しいデータ並列化ライブラリの Amazon SageMaker によるサポートが開始されたことをお知らせしたいと思います。 データセットとモデルがますます大きくなり、高度化するにつれて、大規模な分散型トレーニングジョブを扱う機械学習 (ML) プラクティショナーは、Amazon Elastic Compute Cloud (EC2) p3 および p4 インスタンスなどの強力なインスタンスを使用している場合でさえも、長くなる一方のトレーニング時間に対応しなければなりません。たとえば、8 個の NVIDIA V100 GPU を搭載した ml.p3dn.24xlarge インスタンスを使用しても、一般公開されている COCO データセットでの Mask RCNN および Faster RCNN などの高度なオブジェクト検出モデルのトレーニングには 6 時間以上かかります。これと同じく、最先端の自然言語処理モデルである BERT のトレーニングにも、同一のインスタンスで 100 時間以上かかります。自律走行車企業などのお客様には、大規模な GPU クラスターで何日もかけて実行される、さらに大きなトレーニングジョブを定期的に処理するお客様もおられます。 ご想像どおり、これらの長いトレーニング時間は ML プロジェクトの深刻なボトルネックであり、生産性を損なうと共に、イノベーションを遅らせています。お客様から助けを求められた AWS は、この問題の解決に乗り出しました。 Amazon SageMaker のデータ並列化のご紹介 SageMaker Data Parallelism (SDP) ライブラリのおかげで、Amazon SageMaker を使って ML チームによる分散型トレーニングの時間とコストの削減を実現することが可能になりました。TensorFlow […]
Read More