Amazon Web Services ブログ

Deep Graph Library が Amazon SageMaker で利用可能に

本日ここに、グラフニューラルネットワークを簡単に実装できるよう構築されたオープンソースライブラリ、Deep Graph Library が、Amazon SageMaker で利用可能になったことをお知らせします。 近年、自由形式のテキスト、画像、動画など、複雑なデータから詳細なパターンを抜き出すことができる、驚異的な性能の深層学習が世界に旋風を巻き起こしています。しかし、多くのデータセットはこれらのカテゴリーに当てはまらないため、グラフの方がわかりやすく表すことができます。 畳み込みニューラルネットワークや再帰型ニューラルネットワークのような、従来のニューラルネットワークのアーキテクチャは、そのようなデータセットに適していないことは直感的にも感じられ、新しいアプローチが必要となります。 グラフニューラルネットワークの初歩 グラフニューラルネットワーク (GNN) は、今日の機械学習におけるもっとも画期的な発展事項です。手始めに、これらの参考資料をご覧になるとよいでしょう。 GNN は、以下のような予測モデルのトレーニングに使用されています。 ソーシャルネットワーク。関連する利用者同士のつながりをグラフ化 推奨システム。顧客とアイテムの間のやり取りをグラフ化 化学分析。原子や結合をグラフ化して化合物のモデルを作成 サイバーセキュリティ。発信元と発信先の IP アドレスの接続状況をグラフ化で説明 その他多数のモデル ほとんどの場合、これらのデータセットは非常に大きく、部分的なラベル付けしかできません。ある個人から既知の不正を行う者への接続状況を分析することで、その個人が不正を行っている可能性を予測する、不正行為検出シナリオを考えてみましょう。この問題は、グラフノードの一部のみがラベル付けされる (「不正」か「正当」)、半教師あり学習タスクとして定義できます。これは大きなデータセットを手作業のラベル付けにより構築し、「線形化」して従来の機械学習アルゴリズムに適用するよりも良いソリューションになるはずです。 これらの問題に対処するためには、分野の専門知識 (小売、財務、化学など)、コンピューターサイエンスの知識 (Python、深層学習、オープンソースツール)、インフラストラクチャの知識 (トレーニング、デプロイ、モデルのスケーリング) が必要です。これらのスキルをすべてマスターしている人はごくわずかです。それが Deep Graph Library や Amazon SageMaker のようなツールが必要とされる理由です。 Deep Graph Library の紹介 2018 年 12 月に Github で初めてリリースされた Deep Graph Library (DGL) は Python のオープンソースライブラリーで、研究者や科学者がデータセットの GNN を迅速に構築、トレーニング、評価するのに役立ちます。 DGL は、PyTorch […]

Read More
Weekly AWS

週刊AWS – 2019/12/2週(re:Invent特別号)

みなさん、こんにちは。ソリューションアーキテクトの下佐粉です。 先週は 年に一度の大きなイベント AWS re:Invent 2019がラスベガスで開催されて、いつも以上に多くの新サービスや新機能が発表されましたね!エキサイティングな発表が多くて嬉しいのですが、とてもこの連載の枠に全ての重要な発表が収まりそうにりません。 そこで今回の週刊AWSでは、AWS re:Invent 2019 で発表された内容から、筆者ら(小林、下佐粉)が「個人的に凄いと思った発表10選」を独断でチョイスしてお送りします。なお、re:Invent 2019で発表された内容を全部知りたい!という方向けに関連資料も最後にまとめています。では、厳選10個のアップデートをご覧ください。

Read More

[AWS Black Belt Online Seminar] AWS re:Invent 2019アップデート速報 資料公開

先日 (2019/12/06) 開催しました AWS Black Belt Online Seminar「AWS re:Invent 2019アップデート速報」の資料を公開しました。   20191206 AWS Black Belt Online Seminar AWS re:Invent 2019 アップデート速報 from Amazon Web Services Japan AWS クラウドサービス活用資料集(すべての過去資料が閲覧できます)   <ラスベガスでのライブ配信の裏側> 今回の Black Belt は遠い海外はアメリカのネバダ州、ラスベガスからのライブ配信でした。日本で配信するときは AWS Webinar チームがサポートするのですが、ラスベガスでは SA 小林が孤独に一人で対応しました。 いつもは真面目なブログを心がけている AWS Webinar チームですが、今回は特別に SA 小林によるラスベガスでの単独ライブ配信の裏側をこそっとお見せしたいと思います。   ① あんなに明るい声で速報をお伝えしていた小林ですが、実際はホテルの一室で小さくなって対応してました。               ② もうちょっと近寄ったショットで。Webinar […]

Read More

今年最後のAWSome Day Online Conference を開催いたします

こんにちは! AWS Webinarチームです。 TV の CM にクリスマスソングが流れ始め、いよいよ年末感がでてきていますね。 笑っても泣いても、今年は残すところあと3週間です。 令和 2 年を迎える準備はできていますか? それとも、追い込みをかけている最中ですか? いろいろな意味でラストスパートな 12 月にAWS Webinar チームがお届けする、2019 年最後の AWSome Day Online Conference のご案内です。約 2.5 時間の本ウェビナーを 12 月 13 日(金)15 時から配信開始いたします。 令和元年ラストにAWS クラウドを始めようと思っている方、令和元年ラストにAWSクラウドの基礎知識を復習したいと思ってる方、どちらの方にもお勧めの内容ですので、ぜひこの機会にご登録・ご視聴ください。 日程:12 月 13 日(金) 時間:15:00 – 17:40 終了予定 費用:無料 ご視聴はこちらからお申込みください。 AWSome Day とは? 「AWSome Day」は、AWS に関する基礎知識を 1日で体系的に学ぶ無償のトレーニングイベントです。AWS テクニカルインストラクターが主導するセッションを通じて、コンピューティング、ストレージ、データベース、ネットワークといった AWS の主要なサービスを段階的に学ぶことができます。また、AWSに関わる方への基礎知識として、請求、アカウントマネジメント、料金モデル等、実際の導入に向けた内容となっております。技術的な面だけではなく、これから AWS クラウドを学ぶために必要となる知識を身に付けたい方、エンジニアのみならず、営業職、プリセールス職、学生まで幅広い方々におすすめします。 「AWSome […]

Read More

Amazon EC2アップデート – 高性能で費用対効果の高い推論のための AWS Inferentia チップを搭載した Inf1 インスタンス

お客様は機械学習を大いに活用しています。オブジェクト検出、音声認識、自然言語処理、パーソナライズ、不正検出など、さまざまな種類のワークロードを実行しています。大規模な本番ワークロードで実行する場合、可能な限り迅速かつ費用対効果の高い方法で推論を実行できることが不可欠です。お客様の話では、推論は機械学習作業のコストの最大 90% を占めます。 新しい Inf1 インスタンス 本日、4 つのサイズの Inf1 インスタンスを起動します。これらのインスタンスは AWS Inferentia チップを搭載しており、高速で低レイテンシーの推論を提供するように設計されています。 AWS Inferentia チップは、推論プロセスを加速するように設計されています。各チップは次のパフォーマンスを提供できます。 16 ビット浮動小数点 (FP16 および BF16) と混合精度データの 64 teraOPS。 8 ビット整数 (INT8) データの 128 teraOPS。 チップには、高速インターコネクトと大量のメモリも含まれています。最大のインスタンスに 16 個のチップが搭載されているため、新規および既存の TensorFlow、PyTorch、および MxNet 推論ワークロードは、2 petaOPS を超える推論能力の恩恵を受けることができます。G4 インスタンスと比較した場合、Inf1 インスタンスは推論スループットを最大 3 倍にし、推論あたりのコストを最大 40% 削減します。 サイズと仕様は次のとおりです。 インスタンス名 Inferentia チップ vCPUs RAM EBS 帯域幅 ネットワーク帯域幅 inf1.xlarge 1 […]

Read More

新機能 – VPC Ingress Routing – サードパーティアプライアンスの統合を簡素化

Architecting on AWS クラスを担当していたとき、お客様から、Amazon Virtual Private Cloud を設定して、オンプレミスと同じネットワークセキュリティポリシーをクラウドで実施する方法をよく尋ねられました。たとえば、侵入検知システム (IDS) アプライアンスを使用してすべての入力トラフィックをスキャンしたり、クラウドでオンプレミスと同じファイアウォールを使用したりするために。今日まで、私が提供できる唯一の答えは、すべてのトラフィックを VPC からオンプレミスのアプライアンスまたはファイアウォールにルーティングして、クラウドにルーティングする前に通常のネットワーク機器でトラフィックを検査することでした。これは明らかに理想的な設定ではなく、レイテンシーと複雑さが増します。 今日、新しい VPC ネットワーキングルーティングプリミティブを発表します。これにより、インターネットゲートウェイ (IGW) または仮想プライベートゲートウェイ (VGW) との間の送受信、または Amazon Elastic Compute Cloud (EC2) インスタンスの Elastic Network Interface へ送信されるすべてのトラフィックをルーティングできます。つまり、トラフィックがビジネスワークロードに到達する前にすべてのトラフィックを EC2 インスタンスに送信するように仮想プライベートクラウドを設定できるようになりました。通常、インスタンスはネットワークセキュリティツール (IDS/IPS または Firewall など) を実行して、疑わしいネットワークトラフィックを検査またはブロックするか、他の EC2 インスタンスにトラフィックを中継する前に他のネットワークトラフィック検査を実行します。 仕組み その仕組みを学ぶために、この CDK スクリプトを作成して、アプライアンス用のサブネットとビジネスアプリケーション用のサブネットの 2 つのパブリックサブネットを持つ VPC を作成しました。このスクリプトは、パブリック IP アドレスを持つ 2 つの EC2 インスタンス (各サブネットに 1 つずつ) […]

Read More

AWS Compute Optimizer – カスタマイズされたリソース最適化サービス

Amazon EC2 インスタンスタイプについて公に話すと、よく受ける質問の 1 つに「アプリケーションに適したインスタンスタイプを間違いなく選択するにはどうすればよいですか?」というものがあります。 正しいインスタンスタイプの選択は、芸術と科学の中間にあります。通常は、通常の環境 (ベースライン) でのアプリケーションのパフォーマンス特性と予想される日ごとの変動を把握して、これらの特性に一致するインスタンスタイプを選択します。その後、主要なメトリクスをモニタリングして選択を検証し、時間をかけてプロセスを繰り返して調整し、アプリケーションのコストとパフォーマンスの割合に最適なインスタンスタイプになるようにします。リソースを過剰にプロビジョニングするとインフラストラクチャへの支払いが過剰になり、リソースを過少にプロビジョニングするとアプリケーションのパフォーマンスが低下し、顧客体験に影響を与える可能性があります。 今年の初めに Cost Explorer Rightsizing Recommendations を開始しました。これは、使用率が低い Amazon Elastic Compute Cloud (EC2) インスタンスを特定するのに役立ちます。このインスタンスを同じファミリー内でダウンサイジングして、お金を節約します。受け取ったフィードバックは素晴らしく、お客様からは同じインスタンスファミリー内の単なるダウンサイジング以上の推奨事項を求める声が上がりました。 本日、ワークロード向けのコンピューティングリソースの最適化に役立つ新しいサービスを発表します。AWS Compute Optimizer です。AWS Compute Optimizer は、機械学習技術を使用してアカウントのリソース消費の履歴を分析し、リソースの使用状況に合わせて明確で実用的な推奨事項を作成します。AWS Compute Optimizer は AWS Organizations に統合されており、マスター titletitleAWS Organizations アカウントから複数のアカウントの推奨事項を確認できます。 AWS Compute Optimizer を開始するには、AWS マネジメントコンソールに移動し、[AWS Compute Optimizer] を選択してサービスをアクティブ化します。Amazon CloudWatch メトリクスを使用してリソースの使用状況と履歴の分析をすぐに開始し、数時間後に最初の推奨事項を提示します。 次のように、AWS Compute Optimizer ダッシュボードで最初の推奨事項を確認できます。 次のように、[オーバープロビジョニング: 8 インスタンス] をクリックして詳細を取得します。 8 […]

Read More

【開催報告】第10回Amazon SageMaker 事例祭り

アマゾン ウェブ サービス ジャパン株式会社 パートナーソリューションアーキテクトの小田桐です。 AWS Japan 目黒オフィスでは「Amazon SageMaker 事例祭り」(Twitter: #sagemaker_fes) を定期的に開催しています。2019年11月28日に開催された 第10回 Aazon SageMaker 事例祭り では、AWS Japan のソリューションアーキテクトによるサービスの最新情報や技術情報と、Amazon SageMaker をご利用いただいているお客様をゲストスピーカーにお招きし、実際に導入頂いたお客様による「体験談」をお話し頂きました。

Read More

新機能 – EBS Direct API – EBS スナップショットコンテンツへのプログラムによるアクセス

EBS スナップショットは実に有能です。 これは、AWS マネジメントコンソール を通じて双方向的に作成できます。 作成するには、コマンドライン (create-snapshot) を使うか、CreateSnapshot 関数を呼び出します。また、Data Lifecycle Manager (DLM) により、スナップショット自動管理の設定が行えます。 スナップショットについて スナップショットは Amazon Simple Storage Service (S3) に保存され、これにより、必要に応じて新しい EBS ボリュームを素早く作成できます。ボリュームの最初のスナップショットには、ボリューム上にある 512K サイズのブロックすべてのコピーが含まれます。その後のスナップショットには、前のスナップショット以降に変更されたブロックのみがふくまれます。スナップショットが増分を扱うこの性質により、コスト効率が非常に高くなります。(統計的にいって) EBS ボリューム上にあるブロックの多くは、ほとんど変更されることがないからです。 その手短な例をご覧いただきましょう。今、8 個のブロックがある EBS ボリュームを作成およびフォーマットしたと考えます (これは許可された最小サイズより小さいですが、例としてお許しください) 。これにいくつかファイルをコピーした後、最初のスナップショット (Snap1) を作成します。このスナップショットには、次に示すようにすべてのブロックが含まれます。 次に、いくつかのファイルをさらに追加し、1 つのファイルを削除してから、2 つめのスナップショット (Snap2) を作成します。このスナップショットには、1 つめを作成した後に修正されたブロックのみが含まれ、それは次のようになります。 さらに、いつくかの変更を加えた後、3 つめのスナップショット (Snap3) を作成します。 現実には、ディレクトリー、ファイル、そして下層ブロックの間の関係性はファイルシステムで制御されており、一般的にかなり複雑なものになることは、心に留めておいてください。 さて、3 つのスナップショットができましたので、これらを使って新しくボリュームを作成したいと思います。EBS ボリュームのスナップショットを作成するたび、前のスナップショットへの内部参照も作成されます。これにより、CreateVolume が各ブロックについて最新のコピーを見つけられるようになっています。次に示すような関係です。 詳細な管理は、この背景にある EBS が受け持ってくれます。たとえば、Snap2 を削除するとそれに含まれる Block […]

Read More