Amazon Web Services ブログ

Amazon SageMaker ノートブックインスタンスと GitHub、AWS CodeCommit、あらゆるセルフホスティング型 Git リポジトリとの関連付けが可能になり、Jupyter ノートブックでの簡単で安全なコラボレーションや確実なバージョンコントロールが実現できるようになりました。本ブログ記事では、Git ベースのバージョンコントロールシステムを使用することのメリット、および Git リポジトリで作業するためのノートブックインスタンスの設定方法について詳しく説明します。 データサイエンス分野のプロジェクトでは、コラボレーションが不可欠です。データサイエンティスト、機械学習の開発者、データエンジニア、アナリスト、ビジネスの意思決定権限者は、機械学習モデルのコンセプト作りから製品化にいたる合理的な行程を維持するために、インサイトの共有、タスクの委託、業務履歴のレビューが必要です。 Git ベースのバージョンコントロールシステムは、共有可能な環境でデータサイエンス活動を一元管理します。Git リポジトリと合わせて Jupyter ノートブックを使用することで、プロジェクトの共同起草、コード変更のトラッキング、リリース可能なコード管理を実現するソフトウェアエンジニアリングとデータサイエンス活動の融合が可能になります。 また、ノートブックインスタンス内のノートブックは、耐久性の高い Amazon Elastic Block Store (EBS) ボリュームに格納されます。ただし、ノートブック自体がノートブックインスタンスの寿命以上に存続することはありません。つまり、ノートブックインスタンスを削除すると、作業自体も削除されます。Git リポジトリ内にノートブックを格納すると、Jupyter ノートブックをインスタンスのライフサイクルから分離し、将来の参照や再利用に備えてスタンドアロンドキュメントとして保持できます。 さらに、機械学習および深層学習テクニックに関して一般に公開されているコンテンツの多数が、GitHub のような Git リポジトリ内にホスティングされた Jupyter ノートブック上で入手できます。このノートブックをユーザーのノートブックインスタンスにシームレスにクローニングすると、一般に公開済みの学習教材の検索、実行、共有が簡単になって、学習プロセスのスピードアップにつながります。 Git リポジトリを Amazon SageMaker ノートブックインスタンスに関連付ける方法は 2 つあります。 パブリックな Git リポジトリのクローンを作成したい場合は、ノートブックインスタンスを作成する際に当該リポジトリの URL を用意するだけです。認証情報は特に必要ありません。Amazon SageMaker が、Git リポジトリをクローンしたインスタンスを起動します。 認証情報や個人用アクセストークンを要するプライベート Git リポジトリを関連付けたい場合や、将来の利用に備えてパブリック Git リポジトリ情報を格納したい場合は、まずこの Git リポジトリをユーザーの Amazon SageMaker アカウントにリソースとして追加する必要があります。認証を要する Git […]

データサイエンティストおよび開発者は、Amazon SageMaker Search で機械学習 (ML) モデルトレーニングの実験を、素早く簡単に整理、追跡、評価できるようになりました。当社が導入する新しい Amazon SageMaker Search 機能を使用すると、Amazon SageMaker の数百から数千に及ぶモデルトレーニングジョブの中から、最も関連性の高いモデルトレーニング実行を発見して評価することができます。これにより、モデルの開発と実験のフェーズをスピードアップし、データサイエンティストと開発者の生産性を高め、機械学習ベースのソリューションを市場に投入するまでの全体的な時間を短縮できます。AWS マネジメントコンソールと AWS SDK API for Amazon SageMaker の両方で、新しい検索機能のベータ版を利用できます。新機能のベータ版は、現在 Amazon SageMaker の利用が可能な 13 の AWS リージョンで、追加料金なしで提供されています。 機械学習モデルを開発するには、継続的な実験と観察が必要です。たとえば、新しい学習アルゴリズムを試したり、モデルのハイパーパラメータをチューニングしたりする場合、そのような増分変更がモデルのパフォーマンスと精度に及ぼす影響を観察する必要があります。この反復型最適化の訓練は、数百のモデルトレーニング実験とモデルバージョンでデータ爆発を招くことがよくあります。それにより、「成功した」モデルの収束と発見が遅くなる可能性があります。また、情報の爆発が起こると、本番環境にデプロイされたモデルバージョンの先行モデルを遡って追跡するのにも手間がかかります。このようなモデル系統の追跡の難しさは、モデルの監査やコンプライアンスの検証、モデルのライブ予測パフォーマンスの低下原因のデバッグ、新しいモデルの再トレーニング実験の設定などを行う妨げとなります。 Amazon SageMaker Search を使用すれば、ビジネスユースケースに対応するうえで最も関連性の高いモデルトレーニング実行を迅速に特定できます。採用された学習アルゴリズム、ハイパーパラメータ設定、使用されているトレーニングデータセット、さらにはモデルトレーニングジョブに自分で追加しておいたタグなど、あらゆる定義属性を検索できます。タグを検索すると、特定のビジネスプロジェクト、研究ラボ、データサイエンスチームに関連付けられたモデルトレーニング実行をすばやく見つけられます。これは、モデルトレーニング実行をわかりやすく分類してカタログ化するのに役立ちます。関連するモデルトレーニング実行を 1 か所で集中的に追跡および整理できるだけでなく、トレーニングの損失や検証の精度などのパフォーマンス指標に基づいて、トレーニング実行をすばやく比較してランク付けできます。これにより、「成功した」モデルを選んで本番環境にデプロイするためのスコアボードを作成することができます。さらに、Amazon SageMaker Search では、ライブ環境にデプロイされたモデルの系統を迅速に追跡して、モデルのトレーニングや検証に使用されたデータセットまで遡ることができます。AWS マネジメントコンソールで 1 回クリックするか、または 1 行の簡単な API 呼び出しを実行するだけで、特定のトレーニング実行にアクセスして、最初のモデル作成時に組み込まれたすべての要素まで参照できるようになったのです。 次に、Amazon SageMaker Search を使用してモデルトレーニング実験を効率的に管理する方法を、手順に沿って紹介します。この新機能はベータ版で提供されているため、本番環境では注意してご使用ください。 Amazon SageMaker Search によるモデルトレーニング実験の整理、追跡、評価 以下の例では、Amazon SageMaker 線形学習アルゴリズムを使用して、MNIST […]

先日 (2018/11/30) 開催しました AWS Black Belt Online Seminar「AWS re:Invent 2018 アップデート速報」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 【12/5 最新版】AWS Black Belt Online Seminar AWS re:Invent 2018 アップデート情報 AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. Transit Gatewayが出たことによってvpc peeringは不要になりますか？ A. 不要にはなりません。Transit GatewayはVPC Peeringを置き換えるものではありません。 例えば単純に2つのVPCの接続したい場合は、VPC Peeringを使うのが簡単な解決方法です。 今後もVPC Peeringはご利用いただけますので、使い分けを意識してみてください。 Q. Transit Gatewayの制限事項はご紹介して頂いた以外にどういったものがありますでしょうか。 A. Webinar中は概要をお伝えすることしかできず、すみませんでした。 リリースされたばかりなのでまだ翻訳が追いついていないのですが、FAQとドキュメントをご一読ください。 海外リージョンでは利用できますので、試してしまうのも良い手です。 Q. FSx for WindowsはWorkspaces経由で使えるのですが、Dx経由では使えないのでしょうか。 A. 現時点ではこちらに記載のあるクライアントがサポートされています。 残念ながら現在はDirect Connect経由での接続には対応しておらず、開発を進めている状況にありますのでしばしお待ちください。 Q. License Managerでは、エージェント無しでライセンス利用の有無を自動で検出してくれるのですか？ A. EC2インスタンスについては、マーケットプレイスで起動できるBYOLのAMIや、EC2起動テンプレート、CloudFormationテンプレートなどと紐付けることでエージェントなしでライセンス使用量のカウントができます。 （実際に使っているソフトウェアを認識してくれるわけではないので、自動検出とは少しイメージが違います） AWS […]

先日 (2018/11/28) 開催しました AWS Black Belt Online Seminar「AWS CloudFormation アップデート」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 AWS Black Belt Online Seminar AWS CloudFormation アップデート AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q.AMIのリストをテンプレートに作り、マネジメントコンソールで選択することができますが、VPC-ID、Subnet-IDも可能でしょうか？ A.可能です。 Parameters セクションの Type に AWS::EC2::VPC::Id や AWS::EC2::Subnet::Id を指定すると、マネジメントコンソールでスタックを作成する際にユーザのアカウント内の VPC ID や Subnet ID のリストが表示され、その中から選択することができます。テンプレート内やスタック作成時に手動で ID を入力する必要はありません。   Q.Subnet-IDから、自動でそのリージョンに対応したCentOSのAMI-IDを参照して、作成させることは可能ですか？ A.可能です。 AMI ID はリージョンに紐づきます。自分で作成した AMI の場合は、リージョン名と AMI ID のマッピングを作成することで実現可能です。擬似パラメータ AWS::Region でリージョン名を取得し、マッピング情報から AMI ID […]

みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、プロダクトマーケティング エバンジェリストの亀田です。 今日はWerner Vogels のKeynoteで発表を中心として、多くの発表がありました。その纏めをお届けします。 Amazon Redshift concurrency scalingが発表になりました。 同時実行スケーリングはAmazon Redshiftの新機能であり、必要に応じて一時的な容量を追加し、同時ユーザーやクエリからの大量の要求を処理します。Amazon Redshiftは、並行処理の増加によりクエリがキュー内で待機する期間、クラスタを自動的にスピンアップさせます。メインクラスタが使用されている24時間ごとに、同時実行スケーリングのために1時間のクレジットが発生します。 Amazon MSK (プレビュー）が発表されました。 Apache Kafka APIを使用してデータ・レイクを作成したり、データベースとの間で変更をストリーミングしたり、マシンの学習および分析アプリケーションを強化することができるフルマネージドサービスです。 AWS Toolkit for IntelliJ（プレビュー）がは発表されました。 AWS Toolkit for Visual Studio Code（プレビュー）が発表されました。 AWS Toolkit for PyCharmが発表されました。 これらオープンソースのツールキットによって、サーバーレス・アプリケーションを簡単に開発することができます。 例えば、 AWS Toolkit for PyCharmを使えば次のようなことができます： 好みのランタイムで、デプロイための準備が整ったサーバーレス・アプリケーションを新規に作成する。  Lambda ライクな実行環境でステップ実行のデバッギングを用いて、ローカルでコードをテストする。 選択した AWS リージョンにアプリケーションをデプロイする。 ローカルやリモートで Lambda 関数を起動する。 Amazon Simple Storage Service (S3), Amazon […]

本日より、アプリケーション ロードバランサー (ALB)はAWS Lambda functionをターゲットにすることをサポートします。ウェブサイトの構築やウェブアプリケーションをAWS Lambdaを使いサーバレスなコードとして作成、管理し、ウェブブラウザやクライアントからのリクエストに簡単なHTTP(S)フロントエンドを提供するように設定できます。

AWS App Meshは、AWS上のマイクロサービスアプリケーション間の通信を簡単に監視、制御できるサービスメッシュです。 Amazon Elastic Container Service (Amazon ECS)やAmazon Elastic Container Service for Kubernetes (Amazon EKS)、Amazon EC2上で稼働するKubernetesで動作するマイクロサービスとあわせてApp Meshを使用できます。 今日からApp Meshはpublic previewとして利用できます。数ヶ月後に、新しい機能とインテグレーションを追加する計画です。 なぜApp Meshなのか？ 多くのお客様はマイクロサービスアーキテクチャでアプリケーションを構成しており、アプリケーションを多数の、独立してデプロイされ、操作される多数の別々の小さなソフトウエア群に分割しています。各コンポーネントが需要に応じて個別にスケールすることにより、マイクロサービスはアプリケーションの可用性とスケーラビリティを向上させます。各マイクロサービスはAPIを通じて他のマイクロサービスと相互に作用します。

ソフトウェア開発者には好みの開発ツールというものがあります。パワフルなエディタを使う人もいれば、特定の言語やプラットフォームに最適化された統合開発環境（IDE）を使う人もいます。AWS Lambda のコンソールのエディタを使って、2014年に私は初めての AWS Lambda 関数を作りました。現在では、サーバーレス・アプリケーションをビルドしデプロイするためのツールの選択肢は豊富になりました。例えば、昨年 AWS Cloud9 がリリースされて AWS Lambda のコンソールのエディタ環境は大きく強化されました。.NET アプリケーションでは、 AWS Toolkit for Visual Studio と AWS Tools for Visual Studio Team Services を使う事ができます。 AWS Toolkits for PyCharm、IntelliJ（プレビュー）、そして Visual Studio Code（プレビュー） 今日、 AWS Toolkit for PyCharm の一般提供をお知らせします。また、 AWS Toolkits for IntelliJ と Visual Studio Code の開発者プレビューをお知らせします。これら（AWS Toolkits for IntelliJ と Visual Studio […]

私は2014年にアナウンスしたAWS Lambdaを発表した興奮を覚えています。4年の間でお客様は様々な異なるユースケースでLambda関数をご利用頂いています。 例をあげると iRobotはAWS Lambdaをロボット掃除機のroombaのコンピュートサービスとして利用しています、Fanne MaeはMonte Carloの100万をこえる抵当のシミュレーションとして利用、Bustleは彼らのデジタルコンテンツへの数百万のリクエストとして利用しています。本日、私は2つの新しい機能をご紹介します、これは今までよりサーバレスの開発を簡単にするものです： Lambda Layers, 複数の関数で共用されるコードやデータをセンタライズし管理するものです Lambda Runtime API, あなたが開発する、どんなプログラム言語や特定のバージョンでも簡単に利用できるようになるものです これら2つの機能は一緒に利用することができます。ランタイムはレイヤとして共有できるために、開発者はLambda関数を作成時にお好みの言語で利用することができます。

2015年、私たちはAWS Well-Architected フレームワークを発表し、私は”Are you Well-Architected?“と問いかけをしました。このフレームワークには、クラウドでのシステム設計する際の、5つの柱について設計原則とベストプラクティスが含まれています。