Amazon Web Services ブログ

AWS Japan Staff

Author: AWS Japan Staff

Amazon Builders’ Library をご覧ください–これが私たちのやり方です!

Amazonのお客様は、私たちがビジネスをどのように構築し、運営しているかについてもっと知りたいとよく言っています。小売業では、Amazon Fulfillment Centerを視察し、倉庫の整理方法を確認します。法人のお客様は、しばしば当社のリーダーシップ原則について質問し、時には彼ら自身の使用のためにそれらを採用します(そしてそれから適応させます)。私は定期的に彼らを私たちのエグゼクティブ・ブリーフィング・センター(EBC)にお迎えし、長期的な成功の一環として失敗を受け入れる、考え方や、私たちの技術革新の軽いチャーなどについて話をしています。 私たちのビジネスを取り巻く同じ好奇心が開発文化を取り囲んでいます。Amazon.com、AWS、その他のビジネスの根底にあるハードウェアおよびソフトウェアシステムをどのように設計、構築、測定、実行、スケーリングするかをよく聞かれます。 新しいビルダーズライブラリー 今日、Amazon Builders’ Libraryを発表できてうれしいです。システムの構築および実行方法を正確に説明する詳細な記事のコレクションを開始します。各記事は、ビジネスのその部分で深い専門知識を持つシニアテクニカルリーダーによって書かれています。 このライブラリは、私たちの仕事の根底にある理論と実践に直接アクセスできるように設計されています。学生、開発者、開発マネージャー、アーキテクト、およびCTOはすべて、このコンテンツが役立つと感じるでしょう。これは、「店舗で販売されていない」学校で教えられていないコンテンツです! ライブラリはカテゴリ別に整理されています。 アーキテクチャ –セキュリティ、耐久性、高可用性、パフォーマンスの最適化を支援するクラウドサービスを設計する際に行う設計上の決定。 Software Delivery&Operations –新しいソフトウェアをクラウドにリリースし、その後ヘルスと高可用性を維持するプロセス。 ライブラリ内で、この投稿を書いている間に2つの記事を簡単に見て、多くのことを学びました! 乗り越えられないキューバックログの回避 –プリンシパルエンジニアのDavid Yanacekは、メッセージキューの内外を調査し、発生する可能性のある障害モードの多くを含む利点とリスクを調査します。彼は、キューを使用してAWS LambdaとAWS IoT Coreを強化する方法について説明し、レスポンシブを維持し、「言葉で言えば」「魔法のリソースの分離」を実装するために使用される高度な戦略について説明します。Davidは、複数のキューの使用、シャッフルシャーディング、遅延キュー、バックプレッシャーなどを含む、復元力のある非同期マルチテナントシステムについても解説しています。 分散システムの課題 –シニアプリンシパルエンジニアのJacob Gabrielson は、分散システムが失敗する多くの方法について説明します。3つの異なるタイプ(オフライン、ソフトリアルタイム、およびハードリアルタイム)のシステムを定義した後、彼はBizarroとの類推を使用して、なぜハードリアルタイムシステムが(再び、彼の言葉で)「率直に言って」パックマンに基づいた例を使い、要求/応答通信を追加し、成功または失敗する可能性のあるすべての方法を列挙します。彼は、テストケースの数を減らす方法について議論し、分散システムのテストに伴う他の多くの問題についても話しました。 これらは2つの記事にすぎません。コレクション全体をチェックアウトしてください。 Welcome 私たちは、より多くのコンテンツを持っています。そして我々はまた、あなたの話に興味を持っています。この投稿に関するフィードバックをお気軽にお寄せください。ご連絡いたします。 – Jeff;

Read More

re:Invent 2019 12月4日のまとめ

みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、プロダクトマーケティング シニアエバンジェリストの亀田です。re:Invent 2019 3日目(12月4日)が終了しました。本日は早朝からチャリティマラソン4K/8K Runがあり、多くの方がラスベガスの街を走っていました。 この後朝6時ごろ、多くの人が参加し会場はすごく混雑していました。 走り終わってさわやかな汗を流した人たちです。 そしてそのあと、Global Partner Summitのキーノートが行われました。 またWorkshopコーナーでは日曜の夜に発表されたDeep Composerを使ったワークショップが行われ、参加した方は実機を手に入れているようです。   それでは12月4日のまとめです。 Amazon Kinesis Video StreamsがWebRTCによる双方向のメディアストリーミングに対応しました WebRTCは、シンプルなAPIを介してWebブラウザー、モバイルアプリケーション、接続されたデバイス間のリアルタイム通信を可能にするオープンソースプロジェクトです。WebRTCを備えたKinesis Video Streamsを使用すると、開発者は、リアルタイムの双方向メディアストリーミングと、アプリケーションと接続されたデバイス間の双方向性を備えたアプリケーションを構築できます。 Amazon Neptune Workbenchがリリースされました グラフデータを照会するためのコンソール内エクスペリエンスであるWorkbenchがリリースされました。Jupyterノートブックを使用して、Neptuneデータベースをすばやく簡単に照会できます。これは、ライブコードとナラティブテキストを備えた完全に管理されたインタラクティブな開発環境です。 ノートブックは、SageMakerのノートブックサービスを通じてホストおよび請求され、インスタンスが準備完了状態にある間、ノートブックインスタンスに対して課金されます。 Amplify for iOS and Androidがプレビューリリースされました モバイル開発者がスケーラブルで安全なクラウドベースのサーバーレスアプリケーションを構築できるようにするオープンソースライブラリです。ライブラリを使用して、分析、AI / ML、API(GraphQLおよびREST)、データストア、ストレージなどの機能をモバイルアプリケーションに簡単に追加できます。Amplifyのエスケープハッチのサポートにより、生成されたiOSおよびAndroid SDKを追加のユースケースに使用できます。 Amazon Chime Meetings App for Slackがリリースされました SlackユーザーはAmazon Chime Meetings App for Slackを使用して、Slackワークスペースチャンネルと会話から直接Amazon Chimeオンライン会議を開始および参加できます。Amazon Chime Basicを使用すると、ユーザーは1対1の音声通話とビデオ通話を開始し、参加者としてグループ会議に参加できます。Amazon Chime Proへのアップグレードにより、Slackユーザーは、最大100人の参加者と16のビデオストリームでのグループ会議のホスト、会議リンクからのゲストアクセス、会議ダイヤルイン、SIPのサポートなど、Slackワークスペースから高度な会議機能にアクセスできます。Slackワークスペースの管理者は、Slack […]

Read More

Amazon SageMaker Processing – フルマネージドなデータ加工とモデル評価

2019年12月3日 Amazon SageMaker の新しい機能であり、データの前処理や後処理、モデルの評価といったワークロードをフルマネージドなインフラストラクチャの上で簡単に実行する機能である、Amazon SageMaker Processing を発表できることを嬉しく思います。 精度の高い機械学習(ML)モデルを学習するためには、多くの異なるステップを必要としますが、以下のようなデータの前処理より重要なものはないでしょう。 機械学習アルゴリズムが活用できる入力フォーマットへデータセットを変換 カテゴリカル特徴量のOne-Hot エンコーディングのような、既存の特徴量をさらに表現力の高い特徴量へ変換 数値型特徴量のリスケールや平準化 住所をGPSの座標に置き換えるような、高レベルな特徴量の作成 自然言語処理を適用するための文章のクリーニングやトークン化 これらのタスクは、データセットに応じて異なるスクリプトを実行することになり、そして、後で学習の際に使われるための加工済データを保存します。あなたが想像する通り、機械学習チームにとって、これらを手作業で行ったり、自動化ツールを構築してスケールさせることは魅力的なな計画とは言えません。同様のことが後処理ジョブ(フィルタリングや照合など)やモデル評価ジョブ(異なるテスト用データセットに対するスコアリング)にも言えるかも知れません。 これらの課題を解決するために、 Amazon SageMaker Proscessing が開発されました。より詳細をご紹介させて下さい。 Amazon SageMaker Processing の紹介 Amazon SageMaker Processing はデータサイエンティストと機械学習エンジニアが前処理、後処理、モデル評価といったワークロードを Amazon SageMaker 上で簡単に行うための新しい Python SDK を導入します。 この SDK はデータセットの変換のために使われるおそらく最も人気のあるライブラリである scikit-learn 向けの SageMaker の組み込みコンテナを使います。 必要に応じて、特定の Docker イメージに制限されることなく、独自の Docker イメージをお使い頂くことが出来ます。これにより、最大限の柔軟性を提供し、SageMaker Processing や Amazon ECS や Amazon Elastic Kubernetes Servicesなどの AWS […]

Read More

Amazon SageMaker Model Monitor – 機械学習モデルのためのフルマネージドな自動監視

2019年12月3日、Amazon SageMaker の新しい機能であり、本番環境にある機械学習 (ML) モデルを監視し、データの品質に問題が発生した場合には通知する、Amazon SageMaker Model Monitor を発表できることを嬉しく思います。 私がデータ関連の仕事を始めてから最初に学んだことは、データの品質に注意を払って払いすぎることは無いということでした。予期しない NULL な値を持ったデータや、特殊な文字エンコーディングがなされたデータベースに格納されていたデータによる問題の解決に数時間かかった経験がある人は挙手して下さい。 モデルは文字通り大量のデータから構築されるため、機械学習の実践者がなぜ多くの時間を、データセットの確認に時間を使うのかは容易に理解できます。特に、彼らは学習用データセット(モデルの学習に使われる)と、評価用データセット(精度を測るのに使われる)のデータサンプルが同じ統計的な特徴を持っていることを確認します。 そこに魔物がいます!実験に使われるデータセットを完全にコントロールしたとしても、構築したモデルが受け取るであろう、現実世界のデータが同じようにコントロールされるとは言えません。もちろん、現実世界のデータはきれいではないでしょうし、もっと気にかかるのは、受け取るデータの統計的特徴量が徐々に変化するような、データドリフトです。最小値、最大値、平均、分散など、これらの属性は、モデルが学習されている間の仮説や決定を形作ります。これらの値の重大な変化が、推論の精度に影響を与えることは、直感的に感じることができるでしょう。ローン審査予測において、入力データのドリフトや、たとえそれが欠損であったとしても、より多くの額を予測することを想像して下さい。 これらの条件を検知することはとても難しいことです。モデルによって受け取られるデータを捕捉する必要があり、学習用データと比較するために全ての統計解析を行い、ドリフトの発生を検知するルールを定義し、発生した場合にはそれを通知する、といったことをモデルを更新する度に行う必要があります。機械学習実践の専門家は、これらの複雑なツールを開発する方法を確かに知っているでしょうが、多くの時間と労力が必要になります。Undifferentiated heavy lifting が再び襲いかかってきます。 これらの負荷を減らし、お客様が価値創造に集中することを助けるために、我々は Amazon SageMaker Model Monitor を開発しました。詳細をお伝えさせて下さい。 Amazon SageMaker Model Monitor の紹介 典型的なモデル監視は以下のようになります。最初に 既存のもの、もしくは監視を目的に作られた新しいもの、どちらかの SageMaker エンドポイント を開始するところから始めます。Model Monitor は組み込みアルゴリズム、組み込みフレームワーク、独自コンテナのいずれかであっても、どのようなエンドポイントに対して使うことが出来ます。 SageMaker SDK を使うことによって、エンドポイントへ送付される設定可能なデータを捕捉する(要望に応じて推論結果についても捕捉することができます)ことができ、Amazon Simple Storage Service (S3) バケットを保存することができます。捕捉されたデータはメタデータ(コンテンツタイプやタイムスタンプなど)が付与され、他の S3 オブジェクトと同様に保護とアクセスをすることができます。 その後、エンドポイントにデプロイされているモデルを学習するときに使われるデータからベースラインを作ります(もちろん既存のベースラインを再利用することも可能です)。これは Amazon SageMaker Processing ジョブを起動します。これは Model Monitor が下記のような処理を行うものです。 入力データのスキーマ、例えばタイプやそれぞれの特徴の完全性についての情報を予想します。必要に応じて見返したり、更新することができます。 […]

Read More

世界一目指して走れ! ~AWS DeepRacer Championship Cup @AWS re:Invent 2019 – Part 1-

2019年、多くの注目を集めたAWS DeepRacerリーグはre:Invent 2019でいよいよ最終章へ突入しました。 各地のAWS Summitやバーチャル リーグで勝ち抜いたレーサーたちがラスベガスに集結し、さらにre:Inventで開催される3つのレースで構成されたコンペティション[Championship Cup」で厳しい競争を勝ち抜いたのちに世界一が決まります。ファイナリストとしてクオリファイされたのは世界各国から64名。そのうち日本からは8名が参戦しています。 簡単に世界一になるまでの流れを説明します。 まず、世界一になるためにはre:Invent 2019の中で開催される3回のコンペティションで勝たなければなりません。さらに、使用するコースもこれまでと異なる形状のものとなり、難易度が各段に上がっています。 初戦は「The Qualifying 64 Group racing」 MGM Grand Arenaで6面のトラックを使って行われる初戦では、64名を4つのグループに分け最速タイムを競います。 一人4分の持ち時間のレースを4回行い、合計16分走ります。その中で最も速いラップタイムが記録となります。なぜ4回も?これには理由があります。限られた時間内で多数のレースを展開するには複数トラックが必要になりますが、物理的なトラックにはそれぞれ微妙な「くせ」があります。ほんの少し傾斜していたり、Wifiの状態が異なっていたり、条件は全く同一というわけにはいきません。より公平な評価が可能なレース環境とするためこのような形がとられているのです。 そして、各グループの上位4位、16名が次のステージに進みます。 2戦目は「Bracket of 16 racing」 これまでのレースはシンプルに全参加者でタイムを競う形式をとっていましたが、このBracket of 16 racingでは、「対戦相手」のいるトーナメント形式をとります。ぶっちぎりの速さでなくてもよく、ただ対戦相手より0.01秒でも速ければ勝ちです。 トーナメントで3回勝てば決勝戦へと進むことができます。決勝に進むのは3名です。 そして最後の決戦となる「The final 3 showdown」 re:Invent Day4のKeynote直前に開催されるこのレースは、会場をVenetianに移して行われます。 このレースはWerner Vogelsのキーノートの直前に実施され、結果はKeynote内で発表されます。まさにこの1年の戦いの最終決戦にふさわしい大舞台が用意されたと言えるでしょう。これまでのレースと異なり、一人当たりの持ち時間はたったの90秒。この短い時間の中で有効ラップであり、なおかつ速いタイムが求められます。 そして12月3日、初戦の「The Qualifying 64 Group racing」が行われ、 日本から参加された3名の方がみごと「Bracket of 16 racing」に進出されました! ・グループB:Sola@DNP こと 瀧下 初香さん (9.056秒 グループ1位) ・グループC:nero-DNPds こと相場 武友さん(9.955秒 グループ4位) ・グループD:Fumiaki […]

Read More

新機能 – AWS ECS Cluster Auto ScalingによるECSクラスターの自動スケーリング

本日、AWS ECS Cluster Auto Scalingを発表します。この機能は、スケールアウトを高速化し信頼性を向上させる、クラスター内の空きキャパシティ管理の提供と、スケールイン時に終了されるインスタンスの自動管理を提供し、クラスターの自動スケーリングをより使いやすいものにします。 ECS Cluster Auto Scalingを有効にするには、Capacity Providerと呼ばれる新たな項目を設定する必要があります。1つのCapacity Providerは1つのEC2 Auto Scaling Groupに関連づきます。あるAuto Scaling GroupにECS Capacity Providerを関連付け、ECSクラスターにCapacity Providerを追加すると、ECSの次の2つの新機能を用いてクラスターを自動スケールできるようになります。 管理されたスケーリング。Capacity Provider Reservationという新しいメトリックに対応するスケーリングポリシーが自動的に生成され、Auto Scaling Groupにアタッチされます。 管理されたインスタンス保護。スケールイン時にコンテナーからインスタンス終了を把握できるようになります。 これらの新機能により、ECSクラスターのスケールイン・スケールアウト時の制御が可能になります。 Capacity Provier Reservation Capacity Provider Reservationと呼ばれる新しいメトリックを導入します。クラスター内のすべてのECSワークロード、つまり既存のもの、新規のもの、変更になるもの、これらすべてが必要とする、クラスターリソースの割合(パーセンテージ)が計測されます。このメトリックはCPUやメモリ使用率を用いるよりも確度の高い、素早いスケールアウトを実現するために用いられ、またクラスター内の空きキャパシティを把握することもできるようになります。また、インスタンスを新規起動せず追加のコンテナーを素早く起動できるか、といった判断も可能になります。 管理されたインスタンス保護 インスタンス保護機能により、スケールインに際してどのインスタンスを削除できるかをECSに知らせることができます。これにより稼働中のコンテナーの中断を最小限に抑えられるようになります。運用コストの最適化、またECSで稼働するコンテナーワークロードの可用性向上に役立つ機能です。 ユーザーの利点 これまで、自動スケールするコンテナーワークロードを運用していたユーザーは、多くの場合、メトリックベースのスケーリングを使っていました。メトリックの例にはCPU使用率やメモリ使用率といったものがあり、この変化に基づいてクラスターインスタンスを追加、あるいは削除するべきかを判断するスケーリングポリシーを定義していました。 単一のワークロード、もしくは穏やかに負荷が上昇するワークロード群であれば、この方式でもうまくいく場合が多かったと考えます。しかし同一クラスター上で複数種類のワークロードを稼働させるケース、また急激な負荷上昇が見込まれるワークロードに対しては、スケーリングの問題が頻発していました。理想的には、その時点のクラスターサイズで収容しきれないようなワークロードの増加に対しては、クラスターサイズをスケールアウトさせるようなスケーリングポリシーが必要です。 既存のメトリクスがコンテナー全体を対象にしたものではなく、またその時点で使用中のリソースのみを表現するものである以上、スケールアウトが緩慢に、また不安定になってしまうことは避けられませんでした。加えて、クラスター内のどこでコンテナが稼働しているのかをスケーリングポリシーが把握できないため、スケールインに際して不用意にコンテナーを終了させてしまう場合もありました。この問題はコンテナーワークロードの可用性を低下させる要因になっていました。コンテナーインスタンスの追加台数の準備、追加のスクリプト開発、あるいは手動運用などでの回避は、すべて運用コストの増大を招いていたと言えます。 スケールしてみよう! この機能をよく理解するには手を動かしてみるのが一番だと思います。 Amazon ECS Cluster Auto Scalingは、マネジメントコンソール、AWS CLI, Amazon ECS APIのいずれからも操作可能です。この例ではAWS CLIを用い、ターミナルからクラスターを作成する流れを見ていきます。 まず2つのファイルを作成します。ひとつ目はdemo-launchconfig.jsonで、EC2 Auto Scaling Groupに起動するAmazon Elastic […]

Read More

AWS IoT SiteWiseを使用した大規模な産業データの収集、整理、監視、分析(パート3)

こちらはAWS Professional Service の IoT Global Specialty Practice に所属するシニアデータアーキテクト Asim Kumar Sasmal、IoT SiteWiseのシニアプロダクトマネージャーSaras Kaulによる投稿になります。 [この投稿を読む前に、シリーズのパート1とパート2を読んでください。] このシリーズのパート1で、AWS IoT SiteWiseを使用して、安全で費用対効果の高い信頼できる方法で産業アセットをモデル化し、産業現場からデータを取り込む方法を学びました。 このシリーズのパート2では、AWS IoT SiteWiseの新機能であるSiteWise Monitorを使用して、アセットの主要な測定値とメトリクスを監視し、必要に応じてニアリアルタイムで必要なアクションを実行する方法を学習しました。 パート3(この投稿)では、次の方法を学習します。 モデル化された機器データをAWS IoT SiteWiseからリアルタイムでストリーミングして、AWS IoT Coreのルールエンジンを介してカスタムアプリケーションで使用する 状態のモニタリングを有効にし、AWS IoT Eventsを使用してニアリアルタイムで通知またはアラートを送信する Amazon QuickSightを使用してヒストリカルデータに関するビジネスインテリジェンス(BI)レポートを有効にする AWS IoT SiteWiseは現在プレビュー中です。プレビュー中は、AWS IoT SiteWiseの使用に対して料金は発生せず、サービスは変更される可能性があります。 AWS IoT Events について AWS IoT EventsはIoTセンサーやアプリケーションからのイベントを簡単に検出して応答できるフルマネージドサービスです。これにより、機器またはデバイスのフリートを監視して、運用上の障害や変更を監視できます。また、このようなイベントが発生したときにアクションをトリガーできます。詳細については、AW​​S IoT Eventsコンソールの使用開始を参照してください。 Amazon QuickSight について Amazon QuickSightは、以下のことに使用できる高速なビジネス分析サービスです。 可視化の構築 アドホック分析の実行 セルフサービス方式でデータからビジネスの洞察をすばやく取得 […]

Read More

AWS IoT SiteWiseを使用した大規模な産業データの収集、整理、監視、分析(パート2)

こちらはAWS Professional Service の IoT Global Specialty Practice に所属するシニアデータアーキテクト Asim Kumar Sasmal、IoT SiteWiseのシニアプロダクトマネージャーSourav Chakrabortyによる投稿になります。 [この投稿を読む前に、シリーズのパート1を読んでください。] このシリーズのパート1で、AWS IoT SiteWiseを使用して、安全で費用対効果の高い信頼できる方法で産業アセットをモデル化し、産業現場からデータを取り込む方法を学びました。 パート2(この投稿)では、次の方法を学びます。 AWS IoT SiteWiseの新機能であるSiteWise Monitorを使用してアセットの主要な運用パラメータとパフォーマンスメトリクスを監視し、必要に応じてニアリアルタイムで必要なアクションを実行する パート3で、あなたは次の方法を学びます : モデル化された機器データをAWS IoT SiteWiseからリアルタイムでストリーミングして、AWS IoT Coreのルールエンジンを介してカスタムアプリケーションで使用する 状態のモニタリングを有効にし、AWS IoT Eventsを使用してニアリアルタイムで通知またはアラートを送信する Amazon QuickSightを使用してヒストリカルデータに関するビジネスインテリジェンス(BI)レポートを有効にする AWS IoT SiteWiseは現在プレビュー中です。プレビュー中は、AWS IoT SiteWiseの使用に対して料金は発生せず、サービスは変更される可能性があります。 SiteWise Monitorについて SiteWise Monitorは、AW​​S IoT SiteWiseの新機能であり、大規模なプロセスや機器の運用データを表示、監視、共有するために使用できる管理されたウェブアプリケーションを提供します。ウェブポータルへのアクセスは、AWSシングルサインオン(SSO)を使用して、エンタープライズIDによって制御されます。つまり、プロセスエンジニアなどのドメインエキスパートは、AWSアカウントにアクセスしなくても、デスクトップまたはモバイルブラウザからSiteWise Monitor Webアプリケーションにサインインできます。SiteWise Monitorは、ユーザーがプロセスおよび機器のライブデータおよび履歴データをインタラクティブに表示するのに役立ちます。 ソリューションのアーキテクチャ 次の図は、この複数パートに及ぶ投稿で説明されているハイレベルのエンドツーエンドソリューションとソリューションで使用されるAWSサービスを示しています。 ウォークスルー このウォークスルーには2つのセクションがあります。 AWS IoT […]

Read More

AWS IoT SiteWiseを使用した大規模な産業データの収集、整理、監視、分析(パート1)

こちらはIoT SiteWiseのシニアプロダクトマネージャー Saras Kaul、AWS Professional Service の IoT Global Specialty Practice に所属するシニアデータアーキテクト Asim Kumar Sasmal、シニアコンサルタント Mark Gilbertによる投稿になります。 産業に関するお客様は、安全で費用効果が高く、信頼性の高い、次のようなフィールドからクラウドへのソリューションを求めています。 数万のPLCとセンサーを持つ数百の産業現場からすべてのデータを取り込む デバイス、プロセス、および機器の主要な測定値およびメトリクスをニアリアルタイムで可視化 状態監視を有効にし、必要に応じてアクションを実行するために、ニアリアルタイムで通知とアラートを送信 レポートのためヒストリカルデータによるビジネスインテリジェンス(BI)を有効にする この複数パートに及ぶ投稿では、AWS IoTが顧客がこれらの主要な課題を解決するのをどのように支援するかの例を紹介します。 パート1(このブログ)で、あなたは次の方法を学びます : AWS IoT SiteWiseを使用して、産業アセットの仮想表現を作成する 産業現場にしまい込まれたデータを収集し、AWS IoT SiteWiseに取り込む この記事では、データをサブスクライブするためにAWS IoT SiteWise の OPC-UAサーバとしてKepwareのKEPServerEXと、付属のSimulator Driver を利用します。ただし、それ以外の任意のOPC-UAサーバも使用できます。 パート2で、あなたは次の方法を学びます : AWS IoT SiteWiseの新機能であるSiteWise Monitorを使用してアセットの主要な運用パラメータとパフォーマンスメトリクスを監視し、必要に応じてニアリアルタイムで必要なアクションを実行する パート3で、あなたは次の方法を学びます : モデル化された機器データをAWS IoT SiteWiseからリアルタイムでストリーミングして、AWS IoT Coreのルールエンジンを介してカスタムアプリケーションで使用する 状態のモニタリングを有効にし、AWS IoT Eventsを使用してニアリアルタイムで通知またはアラートを送信する […]

Read More

Amazon SageMakerですぐに利用可能: Deep Graph Library

本日、グラフニューラルネットワークを簡単に実装できるオープンソースのライブラリ Deep Graph Library が Amazon SageMaker で使用できる機能が発表されました。 近年では、手書き文字・画像・動画などの複雑なデータから、精巧なパターンを抽出できる優れた能力によって、深層学習が世の中を席巻しています。しかしながら、このようなカテゴリーに分類されないデータは多く存在しており、こうしたデータはグラフを使うことでより適切に表現可能な場合があります。直感的にも、畳み込みニューラルネットワークや回帰型ニューラルネットワークのような従来のニューラルネットワークは、このようなデータに対して適切ではないことがわかりますし、新たなアプローチが必要と言えます。 グラフニューラルネットワークとは グラフニューラルネットワーク(GNN)は最近開発された機械学習に関連した技術の中で最もわくわくするものの一つで、これらの参考文献を読むことで、まずは概要を理解できます。 GNNは次のようなデータセットに対する予測モデルを作成するために使用されます。 ソーシャルネットワーク: 人同士の関係性を示すグラフ 推薦システム: カスタマーと商品の関係性を示すグラフ 化学構造解析: 化合物が原子やそれらの結合としてモデル化されているグラフ サイバーセキュリティ: ソースとデスティネーション IP アドレスの関係性を示すグラフ 多くの場合、これらのデータセットは非常に大きく、その一部にしかレベル付けがなされていません。例えば、詐欺行為の検出を目的として、特定の人物が詐欺を働く確率を予測するために、詐欺を過去に働いたことがある既知の人物との関係性を解析するシナリオを考えます。これは、グラフの一部のみが詐欺師または善良な人物としてラベルづけされている半教師あり学習のタスクになります。そして、人手でラベル付けした大規模なデータセットを用意して、データを「linearize」し、従来の機械学習アルゴリズムを適用するよりも良いソリューションであると言えます。 このような問題へ取り組むにあたって、それぞれの業界知識 (小売、金融、化学など) 、コンピュータサイエンスの知識 (Python, 深層学習, オープンソースのツール) 、IT インフラの知識 (モデルのトレーニング、デプロイ、スケールリングの方法) が必要になります。全てのスキルを習得できる方はごく少数でしかないため、Deep Graph LibraryやAmazon SageMakerのようなツールが必要とされています。 Deep Graph Libraryの紹介 Github上で2018年 12月にリリースされたDeep Graph Library (DGL) とは、研究者や科学者が自分たちのデータセットを対象に、GNNのすばやい開発・学習・評価を補助してくれるPythonのオープンソースライブラリです。 DGLは PyTorch や Apache MXNet のようなポピュラーなディープラーニングフレームワークの上で動作するようになっています。これらのフレームワークに関する知識がある場合は、初心者でも安心な実装例を通して簡単に使い始めることができます。GTC 2019 で開催されたワークショップの資料も非常に参考になります。実装例を試したあと、DGL で実装された最先端のモデルをここから試すことも可能です。例えば、Graph Convolution Network (GCN) と CORA […]

Read More