- 機械学習›
- Amazon SageMaker AI›
- よくある質問
Amazon SageMaker AI に関するよくある質問
全般
すべて開くサポートされている SageMaker AI リージョンの一覧については、AWS リージョンサービスのページをご覧ください。また、詳細については、AWS一般リファレンスガイドのリージョナルエンドポイントを参照してください。
SageMaker AIは高い可用性を念頭に設計されています。メンテナンスウィンドウや予定されたダウンタイムはありません。SageMakerのAI APIは、Amazonの実績ある高可用性データセンターで動作し、各リージョンの3つの施設にサービススタックのレプリケーションが設定されており、サーバー障害やアベイラビリティーゾーンの停止が発生した場合にも耐障害性を提供します。
SageMaker AI はコードを ML ストレージボリュームに保存し、セキュリティグループで保護され、オプションで保存時に暗号化されます。
ノートブックのホスティング、モデルのトレーニング、予測の実行、出力の記録に使用する機械学習の計算、ストレージ、およびデータ処理リソースには料金が発生します。SageMaker AIを使用すると、ホストされたノートブック、トレーニング、モデルホスティングに使用するインスタンスの数と種類を選択できます。使用した分だけ支払えばよく、最低料金や前払いの義務はありません。詳細については、Amazon SageMaker AI の料金ページ と Amazon SageMaker の料金計算ツールをご覧ください。
SageMakerのAIリソース使用を最適化するために採用できるいくつかのベストプラクティスがあります。あるアプローチは設定の最適化を伴い、他のアプローチはプログラムによる解決策を伴います。この概念に関する完全なガイドは、視覚的なチュートリアルやコードサンプルとともに、このブログ記事で見ることができます。
SageMaker AI は十分で完全なエンドツーエンドのワークフローを提供しますが、引き続き既存のツールを SageMaker AI と共に使用することもできます。ビジネス要件に応じて、簡単に各ステージの結果を SageMaker に転送したり、SageMaker AI から転送したりできます。
はい。R は、SageMaker AI ノートブックインスタンス内で使用できます。これには、事前インストールされた R カーネルと reticulate ライブラリが含まれています。Reticulate は、Amazon SageMaker AI Python SDK 向けの R インターフェイスを提供し、機械学習の専門家が R モデルの構築、トレーニング、調整、デプロイに役立ちます。また、Amazon SageMaker Studio で R の統合開発環境 (IDE) である RStudio を起動することもできます。
Amazon SageMaker Studio は、すべての機械学習開発ステップを実行できる、単一のウェブベースビジュアルインターフェイスを提供します。SageMaker Studio はデータの準備、モデルの構築、トレーニング、デプロイに必要な各ステップに対し、完全なアクセス、管理、可視性をもたらします。データのアップロード、新規ノートブックの作成、モデルのトレーニングと調整、ステップ間での移動などを迅速にこなし、さまざまな試みを調整したり、結果を比較したり、本番環境にモデルをデプロイするといった処理をすべて 1 か所から実行でき、生産性を飛躍的に向上できます。ノートブック、実験管理、自動モデル作成、デバッグとプロファイリング、モデルドリフト検出を含むすべての機械学習開発活動は、統合された SageMaker Studio のビジュアルインターフェイス内で行うことができます。
SageMaker Studio は、追加料金なしでご利用いただけます。SageMaker Studio 内で使用するサービスの基礎となるコンピューティングおよびストレージ料金のみを支払います。
SageMaker AI 上の RStudio は、クラウドで提供される最初の完全管理型 RStudio Workbench です。おなじみのRStudio統合開発環境(IDE)をすぐに起動でき、作業を中断することなく基盤となるコンピューティングリソースを増減できるため、Rでの機械学習や分析ソリューションの大規模構築が容易になります。RStudio IDE と SageMaker Studio ノートブックをシームレスに切り替えて、R および Python 開発を行うことができます。 コード、データセット、リポジトリ、その他のアーティファクトを含むすべての作業は、コンテキストの切り替えを減らし、生産性を高めるために、2つの環境間で自動的に同期されます。
SageMaker と SageMaker AI
すべて開くサポートされている機能には、JupyterLabノートブックでのビルディング、JumpStart、Amazon Q Developer、トレーニングジョブ、HyperPodでのトレーニングおよびファインチューニング、推論エンドポイントによるデプロイメント、MLFlow、パイプライン、モデルレジストリを使用したスケーラブルなMLOps、モデルダッシュボードによるガバナンス、パートナーAIアプリやSnowflakeとのサードパーティ統合が含まれます。
SageMaker は、統合されたデータに加えて、データを見つけ、アクセスし、アクションを実行するための AI エクスペリエンスを提供することで、分析と AI のイニシアチブを加速させます。SageMaker AI は今後もサポートされるため、既存のワークフローを引き続き機能させるための対策を講じる必要はありません。例えば、既存の Amazon SageMaker HyperPod クラスターをそのまま使用し続けることができます。これらを新しい SageMaker Unified Studio で使用したい場合は、このクラスターとの接続を設定します。既存のすべての HyperPod 設定は自動的に SageMaker のプロジェクトに移行され、パフォーマンスとコスト効率は同じままです。SageMaker Unified Studio エクスペリエンスは、すべてのツールを 1 か所にまとめることで生産性を向上させることができます。
データと AI の単一の開発環境から、共同作業と構築をより迅速に行える統合スタジオを発表できることを嬉しく思います。SageMaker Unified Studio から、データを発見して、モデル開発、生成AI、データ処理、SQL 分析のための馴染みのある AWS ツールを使って活用することができます。AWS は、移行のあらゆる段階でお客様をサポートします。ご不明な点があれば、いつでもアカウントチームにお問い合わせください。
SageMaker Studioは、信頼性が高く効率的な機械学習開発環境を必要とするお客様にとって、引き続き優れた選択肢です。分析とAIの統合体験を求め、すべてのデータへの統一アクセスを提供するプラットフォームを探している組織は、SageMaker Unified Studioを検討すべきです。SageMaker Unified Studio を使うと、モデルや生成AIアプリの開発、データ処理、SQL分析などの完全な開発ワークフローのために、慣れ親しんだ AWS ツールにアクセスでき、すべてを一元管理された環境で利用できます。
はい。新しい SageMaker Unified Studio では、HyperPod、JumpStart、MLFlow、JupyterLab、Pipelines のすべてを利用できます。
SageMaker を使用する場合、SageMaker を通じてアクセスできるさまざまな AWS サービスの料金モデルに従って課金されます。SageMaker 内で統合された体験を提供するデータおよび AI 開発環境である SageMaker Unified Studio の利用には、別途費用はかかりません。詳細については、SageMaker の料金ページをご覧ください。
機械学習ガバナンス
すべて開くSageMaker AI は、機械学習ライフサイクル全体にわたって、目的に応じた機械学習ガバナンスツールを提供します。Amazon SageMaker Role Manager を使用すると、管理者は最小限の権限を数分で定義できます。Amazon SageMaker Model Cards を使用すると、構想からデプロイまで、重要なモデル情報を簡単に取得、検索、共有でき、Amazon SageMaker Model Dashboard を使用すると、本番モデルの動作に関する情報をすべて 1 か所で把握することができます。詳細については、Amazon AI SageMaker を使用した ML ガバナンス を参照してください。
SageMaker Role Manager を使用して、最小限のアクセス許可を数分で定義できます。SageMaker Role Manager は、事前に構築された IAM ポリシーのカタログを使用して、機械学習アクティビティとペルソナのための権限のベースラインセットを提供します。基本的な権限を維持することも、特定のニーズに基づいてさらにカスタマイズすることもできます。ネットワークアクセスの境界や暗号化キーなど、一般的なガバナンスの構成は、いくつかのセルフガイドプロンプトですぐに入力できます。SageMaker Role Manager は、IAM ポリシーを自動的に生成します。生成されたロールと関連するポリシーは、AWS IAM コンソールで確認できます。ユースケースに合わせて権限をさらに調整するには、マネージド IAM ポリシーを、SageMaker Role Manager で作成した IAM ロールにアタッチします。また、タグを追加してロールを識別し、AWS のサービス間で整理することができます。
SageMaker Model Cards は、モデル情報の単一の情報源を作成することによって、機械学習ライフサイクル全体を通してモデルドキュメントの一元化と標準化を支援します。SageMaker Model Cards は、トレーニングの詳細をオートポピュレートし、ドキュメント化プロセスを加速します。また、モデルの目的やパフォーマンス目標などの詳細を追加することもできます。モデルの評価結果をモデルカードに添付し、モデルのパフォーマンスに関する重要なインサイトを得るための視覚化を提供することができます。SageMaker Model Cards は、PDF 形式でエクスポートすることで、簡単に他の人と共有することができます。
基盤モデル
すべて開くSageMaker JumpStart は、機械学習をすばやく簡単に開始するのに役立ちます。SageMaker JumpStart は、最も一般的なユースケース向けの一連のソリューションを提供し、数回のステップだけで簡単にデプロイできます。ソリューションは完全にカスタマイズ可能であり、AWS CloudFormation テンプレートとリファレンスアーキテクチャの使用を紹介しているため、ML の導入を加速できます。SageMaker JumpStart は、基盤モデルも提供し、トランスフォーマー、オブジェクト検出、画像分類モデルなど、150 を超える人気のオープンソースモデルのワンステップデプロイと微調整もサポートしています。
SageMaker JumpStart は専用モデルとパブリックモデルを提供します。利用可能な基盤モデルのリストについては、Amazon SageMaker JumpStart の開始方法を参照してください。
基盤モデルには、SageMaker Studio、SageMaker SDK、および AWS マネジメントコンソールからアクセスできます。独自の基盤モデルの使用を開始するには、AWS Marketplace の販売条件を承諾する必要があります。
いいえ、ご自身の推論およびトレーニングデータは、SageMaker JumpStart がお客様に提供する基本モデルの更新やトレーニングに使用または共有されることはありません。
いいえ、専用モデルでは、お客様がモデルの重みやスクリプトを表示することはできません。
モデルは SageMaker Studio が利用可能なすべてのリージョンで見つけることができますが、モデルをデプロイできるかどうかは、必要なインスタンスタイプのモデルとインスタンスの可用性によって異なります。AWS Marketplace のモデル詳細ページから AWS リージョンの可用性と必要なインスタンスを参照できます。
専用モデルの場合は、モデルプロバイダーが決定するソフトウェア価格と、使用したインスタンスに基づいて SageMaker AI インフラストラクチャ料金が課金されます。公開されているモデルについては、使用したインスタンスに基づいて SageMaker AI インフラストラクチャ料金が課金されます。詳細については、Amazon SageMaker AI の料金と AWS Marketplace を参照してください。
AWSではセキュリティが最優先であり、SageMaker JumpStartは安全に設計されています。だからこそ、SageMaker AIは、コンテンツの保存場所を決定し、転送中および保存時のコンテンツを保護し、ユーザーのAWSサービスやリソースへのアクセスを管理するのに役立つ、シンプルで強力なツールを通じて、コンテンツの所有権と制御を提供します。
- カスタマートレーニングや推論情報を AWS Marketplace のモデル出品者と共有することはありません。同様に、出品者のモデルアーティファクト (モデルの重みなど) は購入者と共有されません。
- SageMaker JumpStart は、サービスの向上のために顧客モデル、トレーニングデータ、またはアルゴリズムを使用したり、顧客トレーニングや推論データを第三者と共有したりすることはありません。
- SageMaker JumpStart では、ML モデルのアーティファクトは転送中も保管時も暗号化されます。
- AWS 責任共有モデルでは、 AWS は、すべての AWS で実行されるグローバルインフラストラクチャの保護について責任を負います。お客様は、このインフラストラクチャでホストされているコンテンツの維持について責任を負います。
AWS Marketplace または SageMaker JumpStart のモデルを使用することで、ユーザーはモデル出力の品質について責任を負うものとし、個々のモデルの説明に記載されている機能と制限に同意したものとみなされます。
SageMaker JumpStart には、PyTorch Hub と TensorFlow Hub の 150 超の事前トレーニング済み公開モデルが含まれています。画像分類やオブジェクト検出などの視覚タスクでは、RESNET、MobileNet、Single-Shot Detector (SSD) のようなモデルを使用できます。文の分類、テキストの分類、質問応答などのテキストタスクには、BERT、RoBERTa、DistilBERT のようなモデルを使用できます。
SageMaker JumpStart を使用すると、データサイエンティストと機械学習デベロッパーは、ノートブックとモデルを含む機械学習のアーティファクトを組織内で簡単に共有することができます。管理者は、定義された一連のユーザーがアクセスできるリポジトリを設定することができます。リポジトリにアクセスする権限を持つすべてのユーザーは、モデルやノートブック、SageMaker JumpStart 内の公開コンテンツを閲覧、検索、使用することができます。ユーザーは、アーティファクトを選択して、SageMaker JumpStart でモデルのトレーニング、エンドポイントのデプロイ、およびノートブックの実行を行うことができます。
SageMaker JumpStart を使えば、機械学習アプリケーションの開発における市場投入までの時間を短縮できます。組織内のあるチームが構築したモデルやノートブックを、数回のステップだけで、組織内の他のチームと簡単に共有することができます。社内の知識共有と資産の再利用は、組織の生産性を大幅に向上させることができます。
推論最適化ツールキットを使用すると、最新の推論最適化手法を簡単に実装して、デベロッパーの時間を数か月節約しながら、Amazon SageMaker AI で最先端 (SOTA) のコストパフォーマンスを実現できます。SageMaker AI が提供するさまざまな人気の最適化手法から選択して、事前に最適化ジョブを実行し、モデルのパフォーマンスと精度のメトリクスをベンチマーキングしてから、最適化されたモデルを推論のために SageMaker AI エンドポイントにデプロイできます。ツールキットはモデル最適化のすべての側面を処理するため、ビジネス目標にさらに注力できます。
推論最適化ツールキットは、生成 AI アプリケーションのコストパフォーマンスを改善し、市場投入までの時間を短縮するのに役立ちます。フルマネージドのモデル最適化ツールキットを使用すると、使いやすいツールで最新の最適化手法を利用できます。ツールキットは最先端の技術革新、新しいハードウェアやホスティング機能に継続的に対応するため、時間が経つにつれて最適なソリューションに簡単にアップグレードすることも可能です。
推論最適化ツールキットは、投機的デコード、量子化、コンパイルなどの最適化手法をサポートしています。数回のクリックでモデルに追加する最適化を選択できます。Amazon SageMaker AI は、ハードウェアの調達、深層学習コンテナと最適化ジョブを実行するための対応するチューニングパラメータの選択、お客様が指定する S3 の場所への、最適化されたモデルアーティファクトの保存という、差別化につながらない手間のかかる作業をすべて管理します。
投機的デコードでは、SageMaker AI が提供するドラフトモデルから開始できるため、独自のドラフトモデルをゼロから構築したり、ルーティングやシステムレベルの最適化をリクエストしたりする必要はありません。量子化では、使用する精度タイプを選択し、ベンチマーキングジョブを開始するだけで、パフォーマンスと精度のトレードオフを測定できます。Amazon SageMaker は包括的な評価レポートを生成するため、パフォーマンスと精度のトレードオフを簡単に分析できます。コンパイルでは、最も人気のあるモデルとその設定について、Amazon SageMaker AI はエンドポイントの設定およびスケーリング中にコンパイルされたモデルアーティファクトを自動的に取得します。これにより、事前にコンパイルジョブを実行する必要がなくなり、ハードウェアコストを削減できます。
Amazon SageMaker AI 推論最適化ツールキットは、生成 AI モデルの最適化にかかるコストと時間を削減するのに役立ちます。これにより、ビジネス目標に注力できます。
ローコード機械学習
すべて開くSageMaker Autopilot は業界初の自動化された機械学習機能で、ユーザーは自分の ML モデルをすべてコントロールし、完全に可視化できます。SageMaker Autopilot は自動的に raw データを検証し、機能プロセッサを適用して、最適なアルゴリズムのセットを選出します。そして、複数のモデルをトレーニングおよび調整し、パフォーマンスを追跡、その後、パフォーマンスに基づいてモデルをランク付けします。これらすべての処理がわずか数クリックで実行できます。その結果、通常ではモデルのトレーニングに要するのと同程度のわずかな時間で、最高のパフォーマンスを備えたモデルをデプロイできます。モデルがどのように作成され、その中身が何かまで完全に見える化でき、SageMaker Autopilot は SageMaker Studio と統合します。SageMaker Studio 内で SageMaker Autopilot によって生成されたモデルを最高 50 種類まで試すことができるので、ユースケースに最適なモデルを簡単に選べます。SageMaker Autopilot はモデルを簡単に作成するために、機械学習の経験のないユーザーにも使用できるほか、経験を積んだデベロッパーが使用してすばやく基盤となるモデルを作成し、それをチームがさらに繰り返し使用することもできます。
SageMaker Canvas では、使用量に応じてお支払いただきます。SageMaker Canvas は、複数のソースからインタラクティブにデータを取り込み、探索、準備することが可能で、データを使って高精度の ML モデルを学習し、予測を生成することができます。請求対象となるのは、SageMaker Canvas の使用時間またはログイン時間に応じたセッション料金と、モデル構築に使用したデータセットのサイズに応じたモデル学習料金の 2 つです。詳細については、Amazon SageMaker Canvas の料金をご覧ください。
はい。ジョブはいつでも停止できます。SageMaker Autopilot ジョブが停止されると、進行中のすべてのトライアルも停止され、新しいトライアルは開始されません。
機械学習ワークフロー
すべて開くSageMaker パイプラインは「ステップ」で構成されます。ネイティブにサポートされているステップタイプのいずれかを選択して、SageMaker AI のさまざまな機能 (例: トレーニング、評価) または他の AWS サービス (例: EMR、Lambda) を呼び出すワークフローを作成できます。また、「@step」Python デコレーターを使用するか、または Python Notebook 全体をパイプラインのコンポーネントとして追加することで、既存の ML Python コードを SageMaker Pipeline にリフトアンドシフトすることもできます。詳細については、SageMaker パイプラインの開発者ガイドを参照してください。
SageMaker Pipelines は、追加料金なしでご利用いただけます。SageMaker Pipelines 内で使用する基盤となるコンピューティングまたは個別の AWS のサービスに対してのみ料金を支払います。
ヒューマンインザループ
すべて開くヒューマンインザループとは、機械学習のライフサイクル全体にわたって人間の意見を活用して、モデルの精度と関連性を向上させるプロセスです。人間は、データの生成や注釈付けからモデルのレビューやカスタマイズまで、さまざまなタスクを実行できます。人間がコンテンツの要求者であり消費者でもあるジェネレーティブAIアプリケーションでは、人間の介入が特に重要です。したがって、ファンデーションモデル (FM) に、ユーザーのプロンプトに正確かつ安全かつ適切に対応する方法を人間がトレーニングすることが重要です。人間からのフィードバックを応用して、複数のタスクを完了することができます。まず、教師あり学習(モデルがユーザーのプロンプトにどのように反応すべきかのスタイル、長さ、精度を人間がシミュレートする)と人間のフィードバックによる強化学習(人間がモデルの応答をランク付けして分類する)を通じて、生成型 AI アプリケーション向けの高品質のラベル付きトレーニングデータセットを作成します。二つ目に、特定のタスクや自社の業務・ドメイン固有のデータを使って人間作成のデータでファインチューニングし、モデルの出力を自分に関連性のあるものにすることです。
ヒューマン・イン・ザ・ループ機能は、FMを活用した生成型AIアプリケーションの作成と改善において重要な役割を果たします。タスクのガイドラインに基づいてトレーニングを受けた高度なスキルを持つ人材は、FM を訓練するためのデモンストレーションデータの作成、サンプル応答の修正と改善、企業および業界データに基づくモデルの微調整、毒性や偏見に対する保護手段としての機能などの活動において、フィードバック、ガイダンス、インプット、評価を提供できます。したがって、人間を介在させる機能は、モデルの精度と性能を向上させることができます。
データを準備する
すべて開くSageMaker Data Wrangler は、機械学習用のデータを集約して準備するのにかかる時間を短縮します。SageMaker Studioの単一のインターフェースから、Amazon S3、Amazon Athena、Amazon Redshift、AWS Lake Formation、Amazon EMR、Snowflake、Databricksのデータを数ステップで参照してインポートすることができます。Amazon AppFlow を使用して、50 以上のデータソースから転送され AWS Glue データカタログに登録されたデータを照会およびインポートすることもできます。SageMaker Data Wrangler は、生データを自動的に読み込み、集計し、表示します。SageMaker Data Wrangler にデータをインポートすると、自動生成された列のサマリーやヒストグラムを見ることができます。その後、SageMaker Data Wrangler の Data Quality and Insights レポートを使用して、データをより深く理解し、潜在的なエラーを特定することができます。このレポートでは、要約統計とデータ品質に関する警告が表示されます。また、SageMaker Clarify でサポートされているバイアス分析を SageMaker Data Wrangler から直接実行し、データ準備中に潜在的なバイアスを検出することができます。そこから、SageMaker Data Wrangler の事前構築された変換を使用して、データを準備することができます。データの準備ができたら、Amazon SageMaker Pipelines を使用して完全に自動化された機械学習ワークフローを構築し、そのデータを Amazon SageMaker Feature Store にインポートできます。
SageMaker Data Wrangler の UI から直接 SageMaker AI 処理ジョブを設定して起動することができ、データ処理ジョブのスケジュール設定やデータソースのパラメータ化を行って、大規模な新しいデータのバッチを簡単に変換することができます。
データの準備が整ったら、SageMaker Data Wrangler は SageMaker Data Wrangler フローを本番環境に昇格させるためのさまざまなオプションを提供し、MLOps や CI/CD の機能とシームレスに統合されます。SageMaker Data Wrangler の UI から直接 SageMaker AI 処理ジョブを設定して起動することができ、データ処理ジョブのスケジュール設定やデータソースのパラメータ化を行って、大規模な新しいデータのバッチを簡単に変換することができます。あるいは、SageMaker Data Wrangler は SageMaker の AI 処理や SageMaker Spark コンテナとシームレスに統合されており、SageMaker SDK を使って SageMaker Data Wrangler を本番ワークフローに簡単に組み込むことができます。
SageMaker Feature Store は、機械学習 (ML) モデルの特微量を保存、共有、管理するためのフルマネージド専用プラットフォームです。特徴量を検出して共有できるため、安全なアクセスとコントロールの恩恵を受けながら、モデルやチーム全体で簡単に再利用できます (AWS アカウント間を含む)。SageMaker Feature Store は、リアルタイム推論、バッチ推論、トレーニングのために、オンラインとオフラインの両方の特徴量をサポートします。また、特徴量の作成における重複を減らし、モデルの精度を高めるために、バッチおよびストリーミング特徴量エンジニアリングパイプラインを管理します。
AWS 無料利用枠の一環として、SageMaker Feature Store の使用を無料で開始できます。SageMaker Feature Store では、特徴ストアへの書き込み、オンライン特徴ストアからの読み取りとストレージの料金をお支払いいただきます。料金の詳細については、Amazon SageMaker の料金をご覧ください。
SageMaker AI は、Amazon SageMaker Ground Truth Plus と Amazon SageMaker Ground Truth の 2 種類のデータラベリングサービスを提供します。どちらのオプションも、画像、テキストファイル、動画などの生データを特定し、情報ラベルを追加してMLモデル用の高品質な学習データセットを作成することができます。詳細については、Amazon SageMaker データラベリングを参照してください。
モデルの構築
すべて開くSageMaker Studio ノートブックは、ワンステップで Jupyter Notebook に素早くスピンできます。根本となるコンピューティングリソースは完全に伸縮自在であるため、使用可能なリソースの量を簡単に増減させることができ、変更は作業を中断することなくバックグラウンドで自動的に反映されます。SageMaker AI ではまた、ワンステップでノートブックを共有することもできます。ノートブックを他の人と簡単に共有できます。また、全員が同じ場所に保存された同じノートブックを入手できます。
SageMaker Studio ノートブックでは、 IAM アイデンティティセンターを使用して企業の認証情報でサインインできます。チーム内およびチーム間でノートブックを共有するのは簡単ですが、ノートブックを実行するのに必要な依存関係は、ノートブックを共有するときにカプセル化された作業イメージで自動的に追跡されるからです。
MLの実践者は、チームメンバーがSageMaker Studioのノートブックを一緒に読み書きできる共有ワークスペースを作成できます。共有スペースを使用することで、チームメイトは同じノートブックファイルを共同編集し、ノートブックコードを同時に実行し、その結果を一緒にレビューすることで、行き違いをなくし、共同作業を効率化することができます。共有スペースでは、BitBucket や AWS CodeCommit のようなサービスのサポートが組み込まれており、機械学習チームは、異なるバージョンのノートブックを簡単に管理し、時間の経過とともに変更点を比較できるようになります。ノートブック内で作成された実験やMLモデルなどのリソースは、自動的に保存され、作成された特定のワークスペースに関連付けられます。これにより、チームはより簡単に整理を保ち、MLモデルの開発を加速させることができます。
いいえ、SageMaker Studio ドメインの作成や設定、ユーザープロフィールの追加、更新、削除については料金は発生しません。
SageMaker Studio Labは、MLの授業や実験のために、設定不要で無料のノートブック開発環境が必要な学生、研究者、データサイエンティスト向けです。SageMaker Studio Labは、本番環境を必要としないが、MLスキルを向上させるためにSageMakerのAI機能の一部を利用したいユーザーに最適です。SageMaker の AI セッションは自動的に保存され、各ユーザーセッションの続きからすぐに作業を再開できるようにします。
SageMaker Canvas は、アカウントがアクセスできる Amazon S3 や Amazon Redshift を含む AWS データソースをシームレスに発見するのに役立ちます。SageMaker Canvas のビジュアル、ドラッグアンドドロップインターフェイスを使用して、データを参照およびインポートできます。さらに、ローカルディスクからファイルをドラッグ&ドロップしたり、Snowflake のようなサードパーティのソースからデータを取り込むための事前構築されたコネクタを使用したりすることもできます。
ソースを接続し、データセットを選択し、データを準備したら、予測したいターゲット列を選択して、モデル作成ジョブを開始することができます。SageMaker Canvasは、自動的に問題の種類を識別し、新しい関連する特徴量を生成し、線形回帰、ロジスティック回帰、ディープラーニング、時系列予測、勾配ブースティングなどの機械学習技術を使用して幅広い予測モデルをテストし、データセットに基づいて正確な予測を行うモデルを構築します。
モデルの構築にかかる時間は、データセットのサイズによって異なります。小さなデータセットは 30 分未満、大きなデータセットは数時間かかる場合があります。モデル作成作業が進行するにつれて、SageMaker Canvas は作業完了の割合や作業完了までの残り時間など、詳細な視覚的アップデートを提供します。
モデルのトレーニング
すべて開くAmazon SageMaker AI を使えば、独自の基盤モデルと公開されている基盤モデルの両方をカスタマイズできます。あらゆるスキルレベルのデータサイエンティストや開発者は、最適化されたレシピを使用して、生成AIモデルを素早くカスタマイズできます。各レシピはAWSによってテストされており、最先端のパフォーマンスを達成するために異なるモデル構成をテストするという何週間もの面倒な作業を省くことができます。Llama、Mixtral、Mistral、DeepSeekなど、人気のある一般公開されているモデルファミリーをカスタマイズできます。さらに、Amazon Novaの基盤モデルは、教師ありファインチューニング(SFT)、知識蒸留、直接嗜好最適化(DPO)、近接ポリシー最適化、継続的事前学習などの手法を用いてカスタマイズできます。SFT、蒸留、DPOにおいて、パラメータ効率の高いトレーニングとフルモデルトレーニングの両方に対応しています。
SageMaker AI のマネージドスポットトレーニングを使用すると、Amazon EC2 スポットインスタンスを活用して機械学習モデルをトレーニングでき、モデルのトレーニングコストを最大90%削減できます。
SageMaker トレーニングコンパイラーは、SageMaker Python SDK および SageMaker Hugging Face ディープラーニングコンテナに組み込まれています。スピードアップの利点を享受するためにワークフローを変更する必要はありません。SageMaker ノートブックインスタンス、SageMaker Studio、AWS SDK for Python (Boto3)、AWS コマンドラインインターフェイス (AWS CLI) のいずれかの SageMaker インターフェイスを使用して、これまでと同じ方法でトレーニングジョブを実行できます。フレームワークエスティメータオブジェクトを作成するときにパラメータとして TrainingCompilerConfig クラスを追加することで、SageMaker Training Compiler を有効にできます。実際には、これは単一GPUインスタンス用の既存のトレーニングジョブスクリプトに、数行のコードを追加することを意味します。最新の詳細なドキュメント、サンプルノートブック、例はドキュメントで利用可能です。
SageMaker Training CompilerはSageMakerのトレーニング機能であり、追加料金なしでSageMaker AIの顧客に限定して提供されます。顧客は、トレーニング時間が短縮されるため、SageMakerトレーニングコンパイラを使うことで実際にコストを削減できます。
トレーニングジョブを送信するときにマネージドスポットトレーニングオプションを有効にし、スポット容量を待機する時間を指定します。SageMaker AI は、その後ジョブを実行するために Amazon EC2 スポットインスタンスを使用し、スポット容量を管理します。トレーニングジョブの状況について、実行中でも容量待ちの状態でも、完全に把握することができます。
マネージドスポットトレーニングは、トレーニングに Amazon EC2 スポットインスタンスを使用します。これらのインスタンスは、AWS が容量を必要とする場合に割り込まれることがあります。そのため、容量が使用可能になったとき、マネージドスポットトレーニングジョブを少しずつ実行できます。中断が発生した場合でも、トレーニングジョブを最初から再起動する必要はありません。SageMaker AI は最新のモデルチェックポイントを使用してトレーニングジョブを再開できます。SageMaker AIの組み込みフレームワークと組み込みのコンピュータービジョンアルゴリズムは定期的なチェックポイントを可能にし、カスタムモデルでもチェックポイントを有効にできます。
マネージドスポットトレーニングは、SageMaker AI が現在利用可能なすべてのリージョンでサポートされています。
現時点では使用できません。モデルチューニングで最大のパフォーマンスとエクスペリエンスを得るには、SageMaker AI の中で行う必要があります。
いいえ。特定のハイパーパラメータがモデルの性能にどのように影響するかはさまざまな要因によって異なるため、どのハイパーパラメータが他より重要であり、調整が必要かを断定することは難しいです。SageMaker AI の組み込みアルゴリズムでは、ハイパーパラメータがチューニング可能かどうかを明示しています。
ハイパーパラメータ調整ジョブの所要時間は、データのサイズ、基礎となるアルゴリズム、ハイパーパラメータの値など、複数の要因によって異なります。また、トレーニングジョブの同時実行数およびトレーニングジョブの合計数は、ユーザーが選択することができます。これらすべての選択は、ハイパーパラメータ調整ジョブがどのくらい続くかに影響します。
強化学習は、エージェントが自分の行動や経験からのフィードバックを使い、試行錯誤を通じてインタラクティブな環境で学習できる機械学習の手法です。
はい、SageMaker AIでは、教師あり学習や教師なし学習モデルに加えて、強化学習モデルをトレーニングすることもできます。
教師あり学習と強化学習の両方が入力と出力の間のマッピングを使用しますが、教師あり学習ではエージェントに提供されるフィードバックがタスクを実行するための正しい行動のセットであるのに対し、強化学習では報酬信号を通じて一連の行動による長期的な目標を達成するように最適化される遅延フィードバックを使用します。
教師あり学習の技術の目的が、学習データのパターンに基づいて正しい答えを見つけることであるのに対し、教師なし学習の技術の目的は、データポイント間の類似点と相違点を見つけることです。一方、強化学習技術 (RL) の目標は、期待する成果を実現する方法が明確でない場合でもその成果を達成することです。その結果、RLは、ロボット工学、自律走行車、HVAC、産業制御など、エージェントが自律的に意思決定を行えるインテリジェントなアプリケーションの実現により適しています。
Amazon SageMaker RLは、RLモデルのトレーニングのためにさまざまな環境をサポートしています。AWS RoboMaker のような AWS サービス、オープンソース環境、Open AI Gym インターフェースを使って開発されたカスタム環境、または MATLAB や SimuLink のような商用シミュレーション環境を使用することができます。
いいえ、SageMaker RLには、DQN、PPO、A3Cなど多くのRLエージェントアルゴリズムの実装を提供するCoachやRay RLLibなどのRLツールキットが含まれています。
はい、独自のRLライブラリやアルゴリズム実装をDockerコンテナに持ち込み、SageMaker RLで実行することができます。
はい。トレーニングをGPUインスタンスで実行し、シミュレーションを複数のCPUインスタンスで実行できるような、異種クラスターを選択することもできます。
SageMaker HyperPodのオブザーバビリティにより、お客様は市場投入までの時間を短縮し、ジェネレーティブAIイノベーションのコストを削減できます。管理者はこの機能を使用して、クラスターのパフォーマンス、状態、使用率を数分で包括的に把握し、高速化されたコンピューティングリソースの使用と構成を最適化できます。データサイエンティストがHyperPodクラスター上でのモデル訓練、ファインチューニング、推論などの生成AI開発タスクで中断に直面した場合、数分以内にどの設定やリソースを更新すればタスクを回復できるかを特定できます。タスク中断の解決時間の短縮とタスク再試行の減少により、組織はクラスターのテレメトリデータを収集・分析するのに何時間も費やすのではなく、生成型AIのイノベーションの加速や市場投入までの時間に集中できるようになります。
モデルのデプロイ
すべて開くリクエストを積極的に処理していないときは、コストを節約するために SageMaker 非同期推論エンドポイントのインスタンス数をゼロにスケールダウンすることができます。「ApproximateBacklogPerInstance」というカスタムメトリクスに基づいてスケーリングするスケーリングポリシーを定義し、MinCapacityの値をゼロに設定する必要があります。ステップバイステップの手順については、開発者ガイドの非同期エンドポイントの自動スケールセクションをご覧ください。
SageMaker Serverless Inference は、機械学習モデルのデプロイとスケーリングを容易にする、専用のサーバーレスモデル提供オプションです。SageMaker Serverless Inference エンドポイントは、コンピューティングリソースを自動的に開始し、トラフィックに応じてスケールインおよびスケールアウトするため、インスタンスタイプを選択したり、プロビジョニングされた容量を実行したり、スケーリングを管理したりする必要がなくなります。オプションで、Serverless Inference エンドポイントのメモリ要件を指定できます。推論コードの実行時間と処理されたデータの量の料金のみをお支払いいただきます。アイドル時間については料金がかかりません。
SageMaker AI は、現在展開されているモデルと比較して新しい ML モデルの性能をテストすることで、本番リリース前にシャドウテストを実行するのに役立ちます。SageMaker AIは、新しいモデルを現在の本番モデルと並行してシャドウモードでデプロイし、ユーザーが指定した本番トラフィックの一部を新しいモデルにミラーリングします。オプションで、モデルの推論結果をオフラインで比較できるように記録します。また、レイテンシやエラー率などの主要なパフォーマンス指標を、本番モデルとシャドウモデルで比較したライブダッシュボードを提供し、新しいモデルを本番環境に昇格させるかどうかを判断するのに役立ちます。
SageMaker AI は、シャドウバリアントの設定と監視のプロセスを簡素化し、新しい機械学習モデルのパフォーマンスを本番のトラフィックで評価できるようにします。SageMaker AI は、シャドウテストのためにインフラをオーケストレーションする必要をなくします。これにより、シャドウバリアントにミラーリングされるトラフィックの割合やテストの期間など、テストパラメータを制御できます。その結果、最初は少量で始め、モデルの性能に自信が持てるようになったら、新しいモデルへの推論リクエストを増やすことができます。SageMaker AIは、主要な指標ごとのパフォーマンスの違いを表示するライブダッシュボードを作成するため、新しいモデルが本番モデルとどのように異なるかを簡単に比較して評価できます。
いいえ。現在、エンドポイントごとに 1 つのモデルのみをサポートしています。
現在、リアルタイムエンドポイントのみをサポートしています。
AWS 中国リージョンを除き、Amazon SageMaker が提供されているすべてのリージョンがサポートされます。
はい、すべてのタイプのコンテナをサポートしています。AWS Inferentia チップに基づく Amazon EC2 Inf1 には、Neuron コンパイラまたは Amazon SageMaker Neo のいずれかを使用してコンパイルされたモデルアーティファクトが必要です。Inferentia ターゲットと関連するコンテナイメージ URI のコンパイル済みモデルを取得したら、SageMaker Inference Recommender を使用してさまざまな Inferentia インスタンスタイプのベンチマークを実行できます。
SageMaker Model Monitor によって、デベロッパーがコンセプトドリフトを検出し、修復できるようになります。SageMaker Model Monitor はデプロイ済みのモデルでコンセプトドリフトを検出し、問題の原因を特定するのに役立つ詳細なアラートを出します。SageMaker AI でトレーニングされたすべてのモデルは、SageMaker Studio で収集と表示が可能な主要メトリクスを出します。SageMaker Studio の中で、収集するデータや、その表示方法、アラートを受信するタイミングなどを構成できます。
いいえ、SageMaker AI はお客様に代わってコンピューティングインフラストラクチャを運用し、ヘルスチェックの実行、セキュリティパッチの適用、その他の定期的なメンテナンスを担当します。また、専用のホスティング環境でカスタムの推論コードを使用して、トレーニングされたモデルアーティファクトをにデプロイすることもできます。
SageMaker AI のホスティングでは、Application Auto Scaling を使用して、アプリケーションに必要なパフォーマンスに自動的にスケールします。また、エンドポイント構成を変更することで、ダウンタイムを発生させることなくインスタンスの数とタイプを手動で変更できます。
SageMaker AI はパフォーマンス指標を Amazon CloudWatch メトリクスに送信するため、指標を追跡したり、アラームを設定したり、プロダクションのトラフィック変化に自動的に対応したりすることができます。また、SageMaker AI は Amazon CloudWatch Logs にログを書き込んで、お客様が本番環境のモニタリングとトラブルシューティングを行えるようにします。
SageMaker AI では、推論 Docker イメージ用の文書化された仕様に準拠しているモデルをすべてホストできます。これには、SageMaker AI のモデルアーティファクトや推論コードから作成されたモデルが含まれます。
SageMaker AI は、1 秒あたり多数のトランザクションに対応できるように設計されています。正確な数は、展開されるモデルや、そのモデルが展開されるインスタンスの数や種類によって異なります。
完全管理型サービスとして、Amazon SageMaker AI は、インスタンスの設定や管理、ソフトウェアのバージョン互換性の確認、パッチの適用などをすべて自動で行います。また、アラートの監視と受信に使用できるエンドポイントのメトリクスとログも組み込まれています。SageMaker AI ツールとガイド付きワークフローにより、ML モデルのパッケージングとデプロイのプロセス全体が簡素化され、エンドポイントを簡単に最適化して目的のパフォーマンスを実現し、コストを削減できます。SageMaker Studio 内で数回クリックするか、新しい PySDK を使用することで、基盤モデルを含む ML モデルを簡単にデプロイできます。
バッチ変換により、大小のバッチデータに対する予測を実行できます。データセットを複数のチャンクに分けたりリアルタイムのエンドポイントを管理したりする必要はありません。シンプルな API を使って、多数のデータレコードの予測をリクエストし、そのデータを迅速かつ簡単に変換できます。
SageMaker AI は次のエンドポイントオプションをサポートしています。単一モデルエンドポイント-専用インスタンスでホストされるコンテナ上に 1 つのモデル、または低レイテンシーと高スループットを実現するサーバーレスモデル。マルチモデルエンドポイント-共有インフラストラクチャを使用して複数のモデルをホストすることで、費用対効果を高め、利用率を最大化します。各モデルが効率的に実行するために必要なリソースにアクセスできるように、各モデルが使用できるコンピューティングとメモリの量を制御できます。シリアル推論パイプライン-複数のコンテナが専用インスタンスを共有し、順番に実行されます。推論パイプラインを使用して、前処理、予測、後処理のデータサイエンス作業を組み合わせることができます。
SageMaker Edge Manager は、スマートカメラ、ロボット、パーソナルコンピュータ、モバイルデバイスなどのエッジデバイスのフリートで機械学習モデルを最適化、保護、モニタリング、および維持することをより簡単にします。SageMaker Edge Manager は、ML デベロッパーがさまざまなエッジデバイスで ML モデルを大規模に操作するのに役立ちます。
いいえ、必要ありません。モデルを他の場所でトレーニングすることも、オープンソースまたはモデルベンダーから提供される事前にトレーニングされたモデルを使用することもできます。
Neo dlr は、SageMaker Neo サービスによってコンパイルされたモデルのみを実行するオープンソースランタイムです。オープンソースの dlr と比較すると、SageMaker Edge Manager SDK には、追加のセキュリティ、モデル管理、およびモデル提供機能を備えたエンタープライズグレードのオンデバイスエージェントが含まれています。SageMaker Edge Manager SDK は、大規模な本番環境へのデプロイに適しています。
SageMaker Edge Manager と AWS IoT Greengrass は、お客様の IoT ソリューションで連携できます。ML モデルが SageMaker Edge Manager でパッケージ化されると、AWS IoT Greengrass の OTA 更新機能を使用して、モデルパッケージをデバイスにデプロイできます。AWS IoT Greengrass は、IoT デバイスをリモートで監視することを可能にし、SageMaker Edge Manager はデバイス上の ML モデルの監視と管理を支援します。
AWS は、エッジデバイスでモデルを実行するための最も幅広い機能を提供します。コンピュータビジョン、音声認識、予知保全など、幅広いユースケースをサポートするサービスを提供しています。
カメラやアプライアンスなどのエッジデバイスでコンピュータビジョンを実行しようとしている企業の場合は、AWS Panorama を使用できます。AWS Panorama は、エッジデバイス向けのすぐに使用できるコンピュータビジョンアプリケーションを提供します。AWS Panoramaは、クラウドコンソールにログインし、Amazon S3やSageMaker AIで使用したいモデルを指定し、その後Pythonスクリプトとしてビジネスロジックを作成することで簡単に始めることができます。AWS Panorama は、ターゲットデバイス向けにモデルをコンパイルし、アプリケーションパッケージを作成するので、数回のクリックでデバイスにデプロイできます。さらに、独自のカスタムアプリケーションを構築することを希望する独立系ソフトウェアベンダーは AWS Panorama SDK を使用でき、デバイスメーカーは Device SDK を使用してデバイスを AWS Panorama 用に認定できます。
独自のモデルを構築し、モデルの特徴をより細かく制御することを希望するお客様は、SageMaker Edge Manager を使用できます。SageMaker Edge Manager は、自然言語処理、不正検出、予知保全など、あらゆるユースケースにおいて、スマートカメラ、スマートスピーカー、ロボットなどのエッジデバイスのフリート全体で機械学習モデルを準備、実行、モニタリング、および更新するためのマネージドサービスです。SageMaker Edge Manager は、モデルを制御し (さまざまなモデルの特徴のエンジニアリングを含む)、モデルのドリフトをモニタリングすることを希望する ML エッジデベロッパー向けです。ML エッジデベロッパーは誰でも、SageMaker AI コンソールと SageMaker AI API を介して SageMaker Edge Manager を使用できます。SageMaker Edge Manager は、SageMaker AI の機能を提供して、クラウド内のモデルを構築、トレーニング、およびエッジデバイスにデプロイします。
SageMaker Edge Manager は、米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (オレゴン)、欧州 (アイルランド)、欧州 (フランクフルト)、アジアパシフィック (東京) の 6 つのリージョンで使用できます。詳細については、AWS リージョン別のサービス表をご覧ください。
SageMaker Neoを始めるには、SageMaker AIコンソールにサインインし、訓練済みモデルを選択し、例に従ってモデルをコンパイルし、生成されたモデルをターゲットハードウェアプラットフォームにデプロイしてください。
いいえ。他の場所でモデルをトレーニングして、SageMaker Neo を使用して SageMaker の ML インスタンスや AWS IoT Greengrass 対応デバイス向けに最適化することができます。
現在、SageMaker Neo はコンピュータビジョンアプリケーションを強化する最も一般的な DL モデルや、今日 SageMaker AI で使用される最も一般的な決定木モデルをサポートしています。SageMaker Neo は、MXNet および TensorFlow でトレーニングされた AlexNet、ResNet、VGG、Inception、MobileNet、SqueezeNet、DenseNet などのモデルや、XGBoost でトレーニングされたランダムカットフォレストモデルおよび分類モデルのパフォーマンスを最適化します。
サポートされているクラウドインスタンス、エッジデバイス、およびフレームワークのバージョンのリストは、SageMaker Neo のドキュメントでご確認いただけます。
SageMaker HyperPodでは、SageMaker JumpStartからオープンウェイトのファウンデーションモデルをデプロイしたり、Amazon S3やAmazon FSxから独自にファインチューニングしたモデルを数ステップでデプロイしたりできるようになりました。モデルを選択すると、SageMaker HyperPod はインフラのプロビジョニング、エンドポイントの設定、オートスケーリングのセットアップを自動で処理し、同時に包括的なパフォーマンス指標を観測ダッシュボードに公開して、リアルタイムの監視と最適化を可能にします。
Amazon SageMaker Savings Plans
すべて開くSageMaker AI インスタンスの使用量が一定(時間あたり $ で測定)で、複数の SageMaker AI コンポーネントを使用する場合、またはテクノロジー構成(インスタンスファミリーやリージョンなど)が時間とともに変わることが予想される場合、SageMaker Savings Plans を利用することで、アプリケーションのニーズや新しい技術革新に基づいて基盤となるテクノロジー構成を変更する柔軟性を保ちながら、節約を最大化することが簡単になります。Savings Plans の料金は、手動で変更することなく、対象となるすべての機械学習インスタンスの使用量に自動的に適用されます。
SageMaker AI の Savings Plans と Amazon EC2 の Savings Plans の違いはそれらに含まれるサービスにあります。SageMaker Savings Plans は、SageMaker 機械学習インスタンスの使用量にのみ適用されます。
モデルをカスタマイズ
すべて開く今日お探しの情報は見つかりましたか?
ぜひご意見をお寄せください。ページのコンテンツ品質の向上のために役立てさせていただきます