投稿日: Dec 1, 2021
Amazon SageMaker Studio は、機械学習 (ML) のための初の完全統合開発環境 (IDE) です。これは、データの準備、ならびにモデルの構築、トレーニング、およびデプロイに必要なすべての機械学習の開発ステップを実行できる単一のウェブベースのビジュアルインターフェイスを提供します。SageMaker Studio ノートブックから直接 Amazon EMR クラスターを視覚的に参照してそのクラスターに接続する機能の提供を最近開始しました。本日より、EMR で実行されている Apache Spark ジョブを SageMaker Studio ノートブックから 1 回クリックするだけで直接モニタリングおよびデバッグできるようになりました。さらに、SageMaker Studio から直接 EMR クラスターを検出、接続、作成、終了、および管理できるようになりました。したがって、EMR との組み込みの統合により、単一のユニバーサル SageMaker Studio ノートブック内で直接、ペタバイトスケールでインタラクティブなデータ準備と機械学習の実行が可能となります。
大量のデータの分析、変換、準備は、データサイエンスと機械学習ワークフローの基本的なステップです。データサイエンティストやデータエンジニアなどのデータを取り扱う職員は、EMR で実行されている Apache Spark、Hive、および Presto を活用してデータを迅速に準備できます。これまで、これらのデータを取り扱う職員は、同じアカウントの Studio ノートブックから EMR クラスターに簡単に接続することはできました。しかし、アカウント間で接続したり、EMR で実行されている Apache Spark ジョブをモニタリングおよびデバッグしたりするには、複雑なセキュリティルールとウェブプロキシを設定する必要がありました。さらに、これらのデータを取り扱う職員が特定のワークロードに合わせた EMR クラスターを作成する必要がある場合は、管理者に作成を依頼するか、他のツールに切り替えて、ネットワーク、コンピューティング、およびクラスター設定に関する詳細な技術知識を駆使して自らクラスターを作成する必要がありました。このプロセスは、困難で、かつ、ワークフローに混乱をもたらすだけでなく、これらの職員がデータ準備タスクに集中するのを妨げるものでした。その結果、不経済ではありますが、多くのお客様は、使用状況がアクティブであるか否かにかかわらず、着信ワークロードを想定して永続クラスターを実行し続けました。
本日より、データを取り扱う職員は、SageMaker Studio から直接、単一アカウントおよびクロスアカウント設定の EMR クラスターを簡単に検出して、そのクラスターに接続できるようになりました。さらに、データを取り扱う職員は、Apache Spark UI にワンクリックでアクセスして、EMR で実行されている Apache Spark ジョブを SageMaker Studio Notebooks から直接モニタリングおよびデバッグできるようになりました。これにより、デバッグワークフローが大幅に簡素化されます。お客様は、AWS Service Catalog を使用して、事前設定されたテンプレートを定義し、選択したデータを取り扱う職員にロールアウトして、SageMaker Studio から直接 EMR クラスターを作成できるようにすることもできます。データを取り扱う職員がこれらのテンプレートを使用する場合、お客様は、組織、セキュリティ、コンピューティング、およびネットワークのガードレールを完全に制御できます。データを取り扱う職員は、SageMaker Studio から直接、利用可能な一連のテンプレートを視覚的に参照し、特定のワークロードに合わせてカスタマイズし、オンデマンドで EMR クラスターを作成し、数回クリックするだけで終了することができます。お客様はこれらの機能を使用して、データ準備ワークフローを簡素化し、SageMaker Studio のインタラクティブなワークロード向けに EMR クラスターをより最適に使用できます。
これらの機能は、米国東部 (バージニア北部およびオハイオ)、米国西部 (北カリフォルニアおよびオレゴン)、カナダ (中部)、欧州 (フランクフルト)、欧州 (アイルランド)、欧州 (ストックホルム)、欧州 (パリ)、欧州 (ロンドン)、アジアパシフィック (ムンバイ)、アジアパシフィック (ソウル)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (東京)、および南米 (サンパウロ) といった AWS リージョンで一般的にご利用いただけます。この機能は追加料金なしで利用可能です。詳細については、このブログ投稿と SageMaker Studio Notebooks のユーザーガイドを参照してください。