Hugging Face と Amazon SageMaker を利用して、最先端の自然言語処理を活用する

本日、Amazon SageMaker との新しい Hugging Face 統合を発表し、データサイエンティストが最先端の自然言語 (NLP) モデルをより迅速かつ簡単に開発、トレーニング、調整できるようにします。

チャットボット、感情分析、質問応答、検索などのユースケースを推進する自然言語処理の分野は、過去数年の間に変革が起きました。特に、Transformer 深層学習アーキテクチャは、T5 や GPT-3 など、これまでで最大の最先端モデルのいくつかを担ってきました。ただし、そのサイズを考えると、NLP モデルのトレーニングと最適化には、時間、リソース、およびスキルが必要です。2016 年以来、Hugging Face は、164 言語で 7,000 を超える事前トレーニング済みモデルを含むトランスフォーマーライブラリのおかげで、NLP コミュニティのリーダーの地位を築いてきました。このライブラリにより、デベロッパーは簡単に始められるようになりました。41,000 を超える GitHub スターと 2500 万を超えるダウンロードを含むトランスフォーマーライブラリは、事実上、デベロッパーやデータサイエンティストが NLP モデルを見つけるための場所になっています。 

Amazon SageMaker Python SDK の Hugging Face AWS Deep Learning Container (DLC) と Hugging Face Estimator は、デベロッパーとデータサイエンティストが AWS で NLP を使い始めるのをさらに簡単にします。Hugging Face DLC には、SageMaker 分散トレーニングライブラリ を利用するために SageMaker 用に最適化された Hugging Face トランスフォーマー、データセット、トークナイザーライブラリが含まれています。Hugging Face 推定器により、デベロッパーとデータサイエンティストは最小限の追加コードで SageMaker トレーニングジョブとして NLP スクリプトを実行できます。Hugging Face のデベロッパーは、Amazon SageMaker でより簡単に開発でき、コスト効率、スケーラビリティ、本番環境への対応、高いセキュリティバーなどの利点を継承できるようになりました。 

Hugging Face DLC と SageMaker SDK は、Amazon SageMaker が提供されているすべてのリージョンでご利用いただけ、追加費用はかかりません。詳細については、ローンチブログまたはドキュメントをご覧ください。新しい統合を試用する際は、サンプルノートブックをご覧ください。