投稿日: Jul 12, 2021
本日、お客様が Hugging Face モデルを Amazon SageMaker に大規模にかつ簡単にデプロイできるように、推論用の統合 SDK を備えた AWS Deep Learning Containers (DLC) を発表できることを嬉しく思います。これは、2021 年 3 月にリリースされたもので、トレーニング (Hugging Face トレーニング DLC) に Hugging Face AWS DLC を活用しているお客様から一番要望があった要件です。
本日より、Amazon SageMaker は Hugging Face トレーニング DLC に加え、推論用の AWS Deep Learning Containers (Hugging Face 推論 DLC) を使用した Hugging Face モデルのデプロイをサポートします。Hugging Face 推論 DLC は、TensorFlow フレームワークと PyTorch フレームワークの両方をサポートします。これにより、お客様はいずれかを選択できます。Hugging Face 推論 DLC は、モデルのホスティングを簡素化することで、お客様がわずか数分で大規模にデプロイできるようになりました。お客様は SageMaker Pipelines を使用して業務を合理化することもできます。最後に、このリリースでは、お客様は Hugging Face Model Hub から直接 Hugging Face モデルをデプロイするか、Hugging Face トレーニング DLC で以前に改良したモデルをデプロイできます。
Hugging Face は、デベロッパーが簡単に始めることができる 10,000 を超える事前トレーニング済みモデルを含むトランスフォーマーライブラリと Model Hub を提供し、2016 年以来 NLP コミュニティのリーダーの地位を築いてきました。41,000 を超える GitHub スターと 2500 万を超えるダウンロードに伴い、Hugging Face のトランスフォーマーライブラリは、NLP モデルを構築するデベロッパーにとってデファクトなものになっています。Amazon SageMaker Python SDK の Hugging Face 推論 DLC を使用することで、デベロッパーはこれらのモデルを AWS に簡単にデプロイできます。Hugging Face 推論 DLC には、Hugging Faceトランスフォーマーライブラリ、深層学習 (DL) フレームワーク、および SageMaker 用に最適化された DL モデルサーバーが含まれています。カスタムコンテナのホスティングと比較すると、デベロッパーは最小限の追加コードを使用して事前にトレーニングされた Hugging Face モデルを AWS にデプロイできます。Hugging Face モデルを使用するデベロッパーは、Amazon SageMaker でより簡単に開発できるようになり、また SageMaker がモデルホスティングに提供するコスト効率、スケーラビリティ、本番環境への対応、および高いセキュリティバーの恩恵を受けることができます。
Amazon SageMaker Clarify は、Hugging Face 推論 DLC が利用できるすべてのリージョンで、追加料金なしで利用可能です。詳細については、ブログおよびドキュメントをご覧ください。新しい統合を試用する際は、サンプルノートブックをご覧ください。