投稿日: Mar 4, 2022
Amazon SageMaker サーバーレスおよび非同期推論は、Amazon SageMaker Python SDK をサポートするようになりました。これにより、デプロイに必要な手順が抽象化され、モデルのデプロイワークフローが簡素化されます。SageMaker Python SDK は、Amazon SageMaker に機械学習モデルをデプロイするためのオープンソースライブラリです。最適化された機械学習フレームワーク、SageMaker がサポートするファーストパーティーのアルゴリズムのいずれかを使用するか、Python SDK を使用して独自のモデルをデプロイすることができます。
SageMaker は、リアルタイム、サーバーレス推論 (プレビュー)、非同期推論、バッチ変換などの複数の推論オプションを提供しているため、ワークロードに最適なオプションを選択できます。SageMaker Python SDK は、既にリアルタイム推論とバッチ変換をサポートしています。サーバーレス推論 (プレビュー) と非同期推論がサポートされるようになったため、すべての推論オプションで同じ Python SDK API メソッドを使用できます。モデルのデプロイには、AWS マネジメントコンソール、AWS Boto3 SDK、AWS CLI、Python SDK のいずれかを選択できるようになりました。
ペイロードをリクエストとともにインラインで渡すことで、Python SDK を介して非同期推論エンドポイントを呼び出すことができます。SageMaker SDK はペイロードを S3 バケットにアップロードし、ユーザーに代わってエンドポイントを呼び出します。Python SDK には、完了時に推論結果を定期的にチェックして返すサポートも追加されています。