投稿日: Nov 28, 2018
Amazon SageMaker が機械学習 (ML) のワークフローにおけるオーケストレーション、実験、コラボレーションを改善する新機能のサポートを開始しました。AWS Step Functions が Amazon SageMaker および AWS Glue と統合され、ML ワークフローの構築、デプロイ、監視、反復が簡単になりました。AWS Step Functions を使用すると、複数の Amazon SageMaker ジョブと接続することにより、数分のうちにわずかなコードでML ワークフローを自動化できます。Amazon SageMaker Search を利用した ML トレーニング実験の整理、追跡、評価に役立つ新機能もあります。ベータ版は今すぐ使用開始できます。また最後に、GitHub、AWS CodeCommit、ならびにセルフホストしている何らかの Git リポジトリを、Amazon SageMaker ノートブックインスタンスと関連付け、容易かつ安全に Jupyter ノートブックとコラボレートして確実なバージョン管理が実現できるようになりました。詳細については、AWS Step Functions のドキュメントをご覧ください。
一般的に、ML ワークフローの自動化には、ワークフローのロジックを定義し、各ジョブの完了を監視し、エラーに対応するために、コードを記述して管理することが必要です。ML モデルは、本番環境にデプロイする前に、大きなデータセットに備えて管理する必要があります。モデルに変更があるたびに再デプロイが必要となり、モデルが想定通りに機能することを複数のチームで確認しなければなりません。このプロセス全体は複雑で、アプリケーションの配信を遅らせる可能性があります。AWS Step Functions と Amazon SageMaker の統合により、大きく多様なデータセットの Amazon S3 データレイクへの発行を自動化し、ML モデルをトレーニングし、そのモデルを本番環境にデプロイすることが可能です。AWS Step Functions では、ジョブを平行に並べて実行したり、失敗したジョブを自動で再試行したりできます。統合には、組み込みのエラー処理、パラメータの受け渡し、ステート管理が含まれます。これにより、安全性と耐障害性を備えた ML アプリケーションの配信を加速することが可能になると同時に、記述して管理しなければならないコードの量を減らすことができます。
成功する ML モデルを開発するには、継続的な実験が必要です。新しいアルゴリズムとハイパーパラメータを試し、その間ずっとパフォーマンスと精度に与える影響を観察しなければなりません。これが、データセット、アルゴリズム、パラメータの一意の組み合わせを追跡して、最良のモデルを実現することを難しくする原因です。Amazon SageMaker Search を利用することで、機械学習モデルトレーニングの実験を整理、追跡、評価することが可能になりました。SageMaker Search は、AWS マネジメントコンソールや AWS SDK for Amazon SageMaker で簡単に、潜在的に数千あるモデルトレーニング実行から、もっとも関連性の高いモデルトレーニング実行を素早く発見して評価するのに役立ちます。Search は、現在 Amazon SageMaker を使用可能な 13 の AWS リージョンで、ベータ版を使用できます。詳細については、こちらのブログをご覧ください。
機械学習を前進させるには、アイデアやタスクを共有し、コラボレートすることが必要になるものです。従来のソフトウェア開発とのコラボレーションでは、バージョン管理がデファクトスタンダードでしたが、これは機械学習においても重要な役割を持つものです。現在は、GitHub、AWS Code Commit、セルフホストしている何らかの Git リポジトリを、Amazon SageMaker ノートブックインスタンスと関連付け、容易かつ安全に Jupyter ノートブックとコラボレートして確実なバージョン管理を実現することが可能です。Jupyter ノートブックで Git リポジトリを使用すると、簡単にプロジェクトを共同で立ち上げ、コード変更を追跡し、ソフトウェアエンジニアリングとデータサイエンスプラクティスを組み合わせて、本番環境に対応したコード管理を実現できます。Jupyter ノートブックが提供する、また GitHub がホストする機械学習と深層学習の手法は、簡単に発見、実行、共有ができます。詳細については、こちらのブログをご覧ください。
一般的に、ML ワークフローの自動化には、ワークフローのロジックを定義し、各ジョブの完了を監視し、エラーに対応するために、コードを記述して管理することが必要です。ML モデルは、本番環境にデプロイする前に、大きなデータセットに備えて管理する必要があります。モデルに変更があるたびに再デプロイが必要となり、モデルが想定通りに機能することを複数のチームで確認しなければなりません。このプロセス全体は複雑で、アプリケーションの配信を遅らせる可能性があります。AWS Step Functions と Amazon SageMaker の統合により、大きく多様なデータセットの Amazon S3 データレイクへの発行を自動化し、ML モデルをトレーニングし、そのモデルを本番環境にデプロイすることが可能です。AWS Step Functions では、ジョブを平行に並べて実行したり、失敗したジョブを自動で再試行したりできます。統合には、組み込みのエラー処理、パラメータの受け渡し、ステート管理が含まれます。これにより、安全性と耐障害性を備えた ML アプリケーションの配信を加速することが可能になると同時に、記述して管理しなければならないコードの量を減らすことができます。
成功する ML モデルを開発するには、継続的な実験が必要です。新しいアルゴリズムとハイパーパラメータを試し、その間ずっとパフォーマンスと精度に与える影響を観察しなければなりません。これが、データセット、アルゴリズム、パラメータの一意の組み合わせを追跡して、最良のモデルを実現することを難しくする原因です。Amazon SageMaker Search を利用することで、機械学習モデルトレーニングの実験を整理、追跡、評価することが可能になりました。SageMaker Search は、AWS マネジメントコンソールや AWS SDK for Amazon SageMaker で簡単に、潜在的に数千あるモデルトレーニング実行から、もっとも関連性の高いモデルトレーニング実行を素早く発見して評価するのに役立ちます。Search は、現在 Amazon SageMaker を使用可能な 13 の AWS リージョンで、ベータ版を使用できます。詳細については、こちらのブログをご覧ください。
機械学習を前進させるには、アイデアやタスクを共有し、コラボレートすることが必要になるものです。従来のソフトウェア開発とのコラボレーションでは、バージョン管理がデファクトスタンダードでしたが、これは機械学習においても重要な役割を持つものです。現在は、GitHub、AWS Code Commit、セルフホストしている何らかの Git リポジトリを、Amazon SageMaker ノートブックインスタンスと関連付け、容易かつ安全に Jupyter ノートブックとコラボレートして確実なバージョン管理を実現することが可能です。Jupyter ノートブックで Git リポジトリを使用すると、簡単にプロジェクトを共同で立ち上げ、コード変更を追跡し、ソフトウェアエンジニアリングとデータサイエンスプラクティスを組み合わせて、本番環境に対応したコード管理を実現できます。Jupyter ノートブックが提供する、また GitHub がホストする機械学習と深層学習の手法は、簡単に発見、実行、共有ができます。詳細については、こちらのブログをご覧ください。
一般的に、ML ワークフローの自動化には、ワークフローのロジックを定義し、各ジョブの完了を監視し、エラーに対応するために、コードを記述して管理することが必要です。ML モデルは、本番環境にデプロイする前に、大きなデータセットに備えて管理する必要があります。モデルに変更があるたびに再デプロイが必要となり、モデルが想定通りに機能することを複数のチームで確認しなければなりません。このプロセス全体は複雑で、アプリケーションの配信を遅らせる可能性があります。AWS Step Functions と Amazon SageMaker の統合により、大きく多様なデータセットの Amazon S3 データレイクへの発行を自動化し、ML モデルをトレーニングし、そのモデルを本番環境にデプロイすることが可能です。AWS Step Functions では、ジョブを平行に並べて実行したり、失敗したジョブを自動で再試行したりできます。統合には、組み込みのエラー処理、パラメータの受け渡し、ステート管理が含まれます。これにより、安全性と耐障害性を備えた ML アプリケーションの配信を加速することが可能になると同時に、記述して管理しなければならないコードの量を減らすことができます。
成功する ML モデルを開発するには、継続的な実験が必要です。新しいアルゴリズムとハイパーパラメータを試し、その間ずっとパフォーマンスと精度に与える影響を観察しなければなりません。これが、データセット、アルゴリズム、パラメータの一意の組み合わせを追跡して、最良のモデルを実現することを難しくする原因です。Amazon SageMaker Search を利用することで、機械学習モデルトレーニングの実験を整理、追跡、評価することが可能になりました。SageMaker Search は、AWS マネジメントコンソールや AWS SDK for Amazon SageMaker で簡単に、潜在的に数千あるモデルトレーニング実行から、もっとも関連性の高いモデルトレーニング実行を素早く発見して評価するのに役立ちます。Search は、現在 Amazon SageMaker を使用可能な 13 の AWS リージョンで、ベータ版を使用できます。詳細については、こちらのブログをご覧ください。
機械学習を前進させるには、アイデアやタスクを共有し、コラボレートすることが必要になるものです。従来のソフトウェア開発とのコラボレーションでは、バージョン管理がデファクトスタンダードでしたが、これは機械学習においても重要な役割を持つものです。現在は、GitHub、AWS Code Commit、セルフホストしている何らかの Git リポジトリを、Amazon SageMaker ノートブックインスタンスと関連付け、容易かつ安全に Jupyter ノートブックとコラボレートして確実なバージョン管理を実現することが可能です。Jupyter ノートブックで Git リポジトリを使用すると、簡単にプロジェクトを共同で立ち上げ、コード変更を追跡し、ソフトウェアエンジニアリングとデータサイエンスプラクティスを組み合わせて、本番環境に対応したコード管理を実現できます。Jupyter ノートブックが提供する、また GitHub がホストする機械学習と深層学習の手法は、簡単に発見、実行、共有ができます。詳細については、こちらのブログをご覧ください。