Amazon Web Services ブログ

昨年後半に、Amazon EC2 P3 インスタンスについてお伝えしましたが、その際 Tensor Core のコンセプトにも触れました。これは、大規模なディープニューラルネットワークのための機械学習のトレーニングと推論にかかる時間を短縮する、計算に特化したユニットです。弊社のお客様はこの P3 インスタンスにご満足のようで、さまざまな機械学習や HPC ワークロードの実行に、これらのインスタンスを使用されているようです。例を挙げると、fast.ai は、100 万個の画像を使った ResNet-50 深層学習モデルをわずか 40 USD でトレーニングしますが、深層学習の最速スピード記録を達成しました。 限界への挑戦 今日、p3dn.24xlarge インスタンスを追加して、P3 を最上位の製品へと拡張し、その結果、GPU メモリは 2 倍に、vCPU は p3.16xlarge インスタンスと同じ 1.5 倍に増強しました。このインスタンスは、100 Gbps のネットワーク帯域幅 (以前の P3 インスタンスの最大 4 倍の帯域幅)、ローカル NVMe ストレージ、32 GB の GPU メモリを装備した最新の NVIDIA V100 Tensor Core GPU、高速化した GPU 間の通信を行う NVIDIA NVLink、そして全コア Turbo をサポートし 3.1 […]

みなさんこんにちは。AWSの ソリューションアーキテクト 大村です。 re:Invent 2018 で行われたブレイクアウトセッションのうち、AWSの運用系サービス (Management Tools) についての有用なセッションをピックアップしました。 多くのセッションは資料とプレゼンテーションの動画が公開されており、ハンズオンのテキストについても多くがダウンロード可能です。現地で参加できなかった方もこれらを見たり、あるいは実際にご自身の環境で操作して理解を深めていただければと思います。セッション資料はすべて英語です。ご了承ください。 ここで Management Tools として取り扱うサービスは AWS Systems Manager、AWS CloudFormation、Amazon CloudWatch、AWS Config, AWS CloudTrail、AWS OpsWorks 、AWS License Manager です。

イントロダクション Amazon CloudWatchイベントは、AWSリソースのタグ変更をサポートするようになりました。この新しいCloudWatchイベントタイプを使用すると、タグ変更に適合するCloudWatchイベントルールを作成でき、AWS Lambda関数など複数のターゲットにルーティングすることで、ワークフローを自動で開始することができます。このブログ記事では、AWSリソースに対するタグ変更をセキュアに実施するための、AWS Lambdaを使用したコスト効率の高いサーバーレスソリューションを構築する例を示します。

AWS DMS レプリケーションエンジンのバージョン 3.1.2 をご紹介します。新しいバージョンでは UX がより良くなり、たくさんのお客様からリクエストされていたパフォーマンス改善がされています。私たちは、DMS をより良くするという約束を守ることができました。このブログ記事では、いくつか重要な新機能については触れたいと思います。リスト全体については、AWS DMS リリースノートを参照してください。このリリースノートには、DMS の現バージョンと以前のバージョンの機能とバグ修正に関する詳細情報が含まれています。 DMS レプリケーションエンジンバージョン 3.1.2の新機能 UTF-8 4 バイト文字セットのサポート パーティショニングおよびサブパーティショニングされたテーブルのフルロードパフォーマンスの向上 ラージオブジェクト (LOB) パフォーマンスの向上 フルロード中のテーブルのロード順序 PostgreSQL ソースの主キー値の更新をサポート  このブログ記事の概要では、独自で実行できるテストとサンプルが含まれています。これを行うには、以下の AWS リソースが必要です。 AWS アカウント AWS Database Migration Service ソースとなる Oracle データベース ターゲットとなる PostgreSQL データベース UTF-8 4 バイト文字セットのサポート  AWS DMS の以前バージョンの UTF-8 では、4 バイト文字セットはサポートされていませんでした。例えば、U+1F363 🍣、U+1F37A 🍺、U+29E3D 𩸽、または U+2A602 𪘂は、移行中に予期しない動作を引き起こします。4 バイト文字が検出された場合、移行作業は失敗し、「無効なバイトシーケンス」エラーが発生します。  次にこのようなエラーの例を示します。  […]

企業は年々データが急激に増加するのを目の当たりにしています。データベースとハードウェアインフラストラクチャをスケーリングし続けることは、ますます困難になっています。ワークロードが非リレーショナルデータストアに適していない場合に、基盤となるインフラストラクチャの管理に膨大な費用を費やすことなく、スケーリングの課題をどのように克服したらいいでしょうか? Amazon RDS for PostgreSQL と Amazon Aurora with PostgreSQL により、コスト効率の高い方法で PostgreSQL クラウドのデプロイを簡単にセットアップ、運用、拡張することができます。昨年、私たちは (数百 GB から数 TB に及ぶ) 100 を超える Oracle データベースを Amazon Aurora PostgreSQL と Amazon RDS for PostgreSQL に移行しました。 この記事では、移行中に持ち上がった最も一般的な問題のいくつかについて説明します。皆さんは AWS Database Migration Service (AWS DMS) を使用して、あるデータベースから別のデータベースにデータを移動させた経験があることでしょう。私も AWS Schema Conversion Tool (AWS SCT) をかなり使い込みました。手始めに、データ抽出プロセスで直面する可能性のある問題を取り上げます。次に、データの移行中に起こる問題について取り上げます。最後に、移行後に PostgreSQL で観察するパフォーマンスの問題について説明します。 抽出フェーズの問題 このフェーズで一般的に直面する問題は、大きなテーブルのデータ抽出が遅くなり、ソース DB で ORA-01555 エラー (スナップショットが古すぎます) […]

Amazon Web Service Japan の Solutions Architect 3人を中心にウェブ開発、プログラミング、モバイル、AWS にフォーカスした、Happy Coding Dojo を開催します。Tech 面では AWS の話はもちろんなんですが、Microservicesとか世間の流行りなどアプリケーション開発にまつわる話全般をお題に幅広めにやっていきます。また、AWS 関連ではアプリ開発者向けの新機能や新サービスをライブコーディングなど交えつつ紹介したり、私見を交えつつ紹介したり（あくまでも私見です！）、ときに視聴者の皆さんからの質問やコメントを拾いつつインタラクティブにライブでお届けします。オンラインでライブ配信しますので、気軽に参加可能です。Let’s Happy Coding! 開催日時: 2018 年 12 月 12 日（水）18:00 – 19:00 形式: オンライン お申し込みはこちら >>

 Amazon SageMaker は、マネージド型で、無限に拡張可能な機械学習 (ML) プラットフォームです。このプラットフォームを使用すると、機械学習モデルの構築、トレーニング、デプロイが簡単になります。Amazon SageMaker には、画像分類と物体検出のための 2 つの定評があるコンピュータビジョンアルゴリズムがすでに組み込まれています。Amazon SageMaker の画像分類アルゴリズムは、画像をあらかじめ定義されたカテゴリのセットに分類することを学習します。Amazon SageMaker の物体検出アルゴリズムは、境界ボックスを描画し、ボックス内の物体を識別することを学習します。本日、Amazon SageMaker セマンティックセグメンテーションアルゴリズムの開始により、コンピュータビジョンファミリーのアルゴリズムを強化することを発表いたします。 Amazon SageMaker セマンティックセグメンテーションアルゴリズムの一例。PEXELS の Pixabay による写真。 セマンティックセグメンテーション (SS) とは、既知のラベルセットからのクラスを使用して画像内のすべてのピクセルを分類するタスクです。セグメンテーション出力は通常、異なる RGB (クラス数が 255 未満の場合はグレースケール) の値として表現されます。したがって、出力は、入力画像と同じ形状のマトリックス (またはグレースケール画像) です。この出力画像は、セグメンテーションマスクとも呼ばれます。Amazon SageMaker セマンティックセグメンテーションアルゴリズムを使用すると、独自のデータセットでモデルをトレーニングできることに加えて、事前にトレーニングされたモデルを使用して希望通りに初期化を行うこともできます。このアルゴリズムは、MXNet Gluon フレームワークと Gluon CV ツールキットを使用して構築されています。セマンティックセグメンテーションモデルを学習することができる、次の 3 つの最先端の組み込みアルゴリズムの選択肢を提供します。 fully-convolutional network (FCN) pyramid-scene-parsing network (PSP) DeepLab-V3 すべてのアルゴリズムに、2 つの異なるコンポーネントがあります。 エンコーダまたはバックボーン。 デコーダ。 バックボーンは、画像の特徴の信頼できるアクティブ化マップを作成するネットワークです。デコーダは、エンコードされたアクティブ化マップからセグメンテーションマスクを構築するネットワークです。Amazon SageMaker セマンティックセグメンテーションは、バックボーンのオプションとして、事前にトレーニングされた、またはランダムに初期化された ResNet50 または ResNet101 の選択肢を提供します。バックボーンには、元は ImageNet 分類タスクでトレーニングされた、事前トレーニング済みのアーティファクトが付属しています。これらは、ユーザーがセグメンテーションのために FCN […]

Amazon SageMaker ノートブックインスタンスと GitHub、AWS CodeCommit、あらゆるセルフホスティング型 Git リポジトリとの関連付けが可能になり、Jupyter ノートブックでの簡単で安全なコラボレーションや確実なバージョンコントロールが実現できるようになりました。本ブログ記事では、Git ベースのバージョンコントロールシステムを使用することのメリット、および Git リポジトリで作業するためのノートブックインスタンスの設定方法について詳しく説明します。 データサイエンス分野のプロジェクトでは、コラボレーションが不可欠です。データサイエンティスト、機械学習の開発者、データエンジニア、アナリスト、ビジネスの意思決定権限者は、機械学習モデルのコンセプト作りから製品化にいたる合理的な行程を維持するために、インサイトの共有、タスクの委託、業務履歴のレビューが必要です。 Git ベースのバージョンコントロールシステムは、共有可能な環境でデータサイエンス活動を一元管理します。Git リポジトリと合わせて Jupyter ノートブックを使用することで、プロジェクトの共同起草、コード変更のトラッキング、リリース可能なコード管理を実現するソフトウェアエンジニアリングとデータサイエンス活動の融合が可能になります。 また、ノートブックインスタンス内のノートブックは、耐久性の高い Amazon Elastic Block Store (EBS) ボリュームに格納されます。ただし、ノートブック自体がノートブックインスタンスの寿命以上に存続することはありません。つまり、ノートブックインスタンスを削除すると、作業自体も削除されます。Git リポジトリ内にノートブックを格納すると、Jupyter ノートブックをインスタンスのライフサイクルから分離し、将来の参照や再利用に備えてスタンドアロンドキュメントとして保持できます。 さらに、機械学習および深層学習テクニックに関して一般に公開されているコンテンツの多数が、GitHub のような Git リポジトリ内にホスティングされた Jupyter ノートブック上で入手できます。このノートブックをユーザーのノートブックインスタンスにシームレスにクローニングすると、一般に公開済みの学習教材の検索、実行、共有が簡単になって、学習プロセスのスピードアップにつながります。 Git リポジトリを Amazon SageMaker ノートブックインスタンスに関連付ける方法は 2 つあります。 パブリックな Git リポジトリのクローンを作成したい場合は、ノートブックインスタンスを作成する際に当該リポジトリの URL を用意するだけです。認証情報は特に必要ありません。Amazon SageMaker が、Git リポジトリをクローンしたインスタンスを起動します。 認証情報や個人用アクセストークンを要するプライベート Git リポジトリを関連付けたい場合や、将来の利用に備えてパブリック Git リポジトリ情報を格納したい場合は、まずこの Git リポジトリをユーザーの Amazon SageMaker アカウントにリソースとして追加する必要があります。認証を要する Git […]

データサイエンティストおよび開発者は、Amazon SageMaker Search で機械学習 (ML) モデルトレーニングの実験を、素早く簡単に整理、追跡、評価できるようになりました。当社が導入する新しい Amazon SageMaker Search 機能を使用すると、Amazon SageMaker の数百から数千に及ぶモデルトレーニングジョブの中から、最も関連性の高いモデルトレーニング実行を発見して評価することができます。これにより、モデルの開発と実験のフェーズをスピードアップし、データサイエンティストと開発者の生産性を高め、機械学習ベースのソリューションを市場に投入するまでの全体的な時間を短縮できます。AWS マネジメントコンソールと AWS SDK API for Amazon SageMaker の両方で、新しい検索機能のベータ版を利用できます。新機能のベータ版は、現在 Amazon SageMaker の利用が可能な 13 の AWS リージョンで、追加料金なしで提供されています。 機械学習モデルを開発するには、継続的な実験と観察が必要です。たとえば、新しい学習アルゴリズムを試したり、モデルのハイパーパラメータをチューニングしたりする場合、そのような増分変更がモデルのパフォーマンスと精度に及ぼす影響を観察する必要があります。この反復型最適化の訓練は、数百のモデルトレーニング実験とモデルバージョンでデータ爆発を招くことがよくあります。それにより、「成功した」モデルの収束と発見が遅くなる可能性があります。また、情報の爆発が起こると、本番環境にデプロイされたモデルバージョンの先行モデルを遡って追跡するのにも手間がかかります。このようなモデル系統の追跡の難しさは、モデルの監査やコンプライアンスの検証、モデルのライブ予測パフォーマンスの低下原因のデバッグ、新しいモデルの再トレーニング実験の設定などを行う妨げとなります。 Amazon SageMaker Search を使用すれば、ビジネスユースケースに対応するうえで最も関連性の高いモデルトレーニング実行を迅速に特定できます。採用された学習アルゴリズム、ハイパーパラメータ設定、使用されているトレーニングデータセット、さらにはモデルトレーニングジョブに自分で追加しておいたタグなど、あらゆる定義属性を検索できます。タグを検索すると、特定のビジネスプロジェクト、研究ラボ、データサイエンスチームに関連付けられたモデルトレーニング実行をすばやく見つけられます。これは、モデルトレーニング実行をわかりやすく分類してカタログ化するのに役立ちます。関連するモデルトレーニング実行を 1 か所で集中的に追跡および整理できるだけでなく、トレーニングの損失や検証の精度などのパフォーマンス指標に基づいて、トレーニング実行をすばやく比較してランク付けできます。これにより、「成功した」モデルを選んで本番環境にデプロイするためのスコアボードを作成することができます。さらに、Amazon SageMaker Search では、ライブ環境にデプロイされたモデルの系統を迅速に追跡して、モデルのトレーニングや検証に使用されたデータセットまで遡ることができます。AWS マネジメントコンソールで 1 回クリックするか、または 1 行の簡単な API 呼び出しを実行するだけで、特定のトレーニング実行にアクセスして、最初のモデル作成時に組み込まれたすべての要素まで参照できるようになったのです。 次に、Amazon SageMaker Search を使用してモデルトレーニング実験を効率的に管理する方法を、手順に沿って紹介します。この新機能はベータ版で提供されているため、本番環境では注意してご使用ください。 Amazon SageMaker Search によるモデルトレーニング実験の整理、追跡、評価 以下の例では、Amazon SageMaker 線形学習アルゴリズムを使用して、MNIST […]

先日 (2018/11/30) 開催しました AWS Black Belt Online Seminar「AWS re:Invent 2018 アップデート速報」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 【12/5 最新版】AWS Black Belt Online Seminar AWS re:Invent 2018 アップデート情報 AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. Transit Gatewayが出たことによってvpc peeringは不要になりますか？ A. 不要にはなりません。Transit GatewayはVPC Peeringを置き換えるものではありません。 例えば単純に2つのVPCの接続したい場合は、VPC Peeringを使うのが簡単な解決方法です。 今後もVPC Peeringはご利用いただけますので、使い分けを意識してみてください。 Q. Transit Gatewayの制限事項はご紹介して頂いた以外にどういったものがありますでしょうか。 A. Webinar中は概要をお伝えすることしかできず、すみませんでした。 リリースされたばかりなのでまだ翻訳が追いついていないのですが、FAQとドキュメントをご一読ください。 海外リージョンでは利用できますので、試してしまうのも良い手です。 Q. FSx for WindowsはWorkspaces経由で使えるのですが、Dx経由では使えないのでしょうか。 A. 現時点ではこちらに記載のあるクライアントがサポートされています。 残念ながら現在はDirect Connect経由での接続には対応しておらず、開発を進めている状況にありますのでしばしお待ちください。 Q. License Managerでは、エージェント無しでライセンス利用の有無を自動で検出してくれるのですか？ A. EC2インスタンスについては、マーケットプレイスで起動できるBYOLのAMIや、EC2起動テンプレート、CloudFormationテンプレートなどと紐付けることでエージェントなしでライセンス使用量のカウントができます。 （実際に使っているソフトウェアを認識してくれるわけではないので、自動検出とは少しイメージが違います） AWS […]