SageMaker マルチモデルエンドポイントと Amazon CloudWatch は、本ガイダンスを通じて活用され、運用上の優位性を高めるように設計されています。まず、SageMaker のマルチモデルエンドポイントでは、単一のエンドポイントの背後に多数のモデルをデプロイできるため、管理が必要なエンドポイントの数を削減できます。SageMaker は、トラフィックパターンに基づいてモデルの読み込みとキャッシュを管理します。エンドポイントを再デプロイせずにモデルを追加または更新できます。必要な操作は SageMaker が管理する Amazon S3 ロケーションにモデルをアップロードすることだけです。さらに、SageMaker は、モデルからメトリクス、イベント、ログファイルを追跡してモデルのパフォーマンスのインサイトを取得できる CloudWatch に自動的に統合します。また、アラームを設定して、カスタマーエクスペリエンスに影響が及ぶ前に問題を事前にモニタリングすることもできます。

API Gateway は、API リクエストを認証および承認する組み込みのメカニズムを提供するため、サービス拒否攻撃や、バックエンドリソースに過負荷をかける可能性のあるその他の不正行為を防止できます。Amazon Cognito ユーザープール、OAuth 2.0、または IAM ロールを使用して API へのアクセスを制御することもできます。また、データ保護のため、API Gateway では、エンドポイントに送信されるデータが SSL/TLS で暗号化されます。また、API スロットリングもサポートされており、過剰なトラフィックや悪用から API を保護できます。 また、ウェブベースの攻撃や悪用からアプリケーションを保護するために、 API Gateway の前にウェブアプリケーションファイアウォールである AWS WAF を追加することを検討してください。最後に、分散型サービス拒否 (DDoS) 攻撃からワークロードを保護するために、 AWS Shield を検討してください。

このガイダンス全体では、ワークロードの信頼性を強化するために API Gateway、Lambda、SageMaker がデプロイされています。まず、API Gateway は、トラフィックのスパイクを処理する組み込みの耐障害性と自動スケーリングを提供します。また、Lambda および SageMaker と統合しているため、スケーラブルなサーバーレス API を簡単に構築できます。さらに、SageMaker は、機械学習ワークロードを実行し、機械学習モデルを提供する際に、高い信頼性と可用性を確保するように設計されています。マネージド型の自動スケーリング、耐障害性、ヘルスチェック、モニタリング、診断が提供されます。SageMaker は、複数のアベイラビリティーゾーンに分散された分散型インフラストラクチャ上で動作するため、高い可用性を確保できます。これにより、モデルトレーニングと推論の信頼性が保証されます。

ここでは SageMaker を使用してパフォーマンス効率を高め、機械学習モデルのホストに使用できる高性能で低レイテンシーの推論サービスを提供します。インスタンスのタイプ、数、その他のデプロイを簡単に設定して、推論ワークロードを適切なサイズにし、レイテンシー、スループット、コストを最適化できます。

SageMaker のマルチモデルエンドポイントを使用すると、多くのモデルをスケーラブルかつコスト効率の高い方法でデプロイできます。これらのエンドポイントは同じコンテナを使用してすべてのモデルをホストするため、個別のエンドポイントを管理するオーバーヘッドを削減できます。一部のモデルがあまり利用されていない状況では、リソースを共有することで、個別のエンドポイントを使用する場合に比べてインフラストラクチャの利用率を最大化し、コストを削減できます。 

SageMaker 非同期推論は、受信したリクエストをキューに入れ、それらのリクエストを非同期的に処理する機能です。したがって、SageMaker は、未使用のインスタンスをゼロまで自動的にスケールダウンできるため、アイドリング時のコンピューティングリソースを節約し、クラウドワークロードの実行環境への影響を最小限に抑えることができます。