Veröffentlicht am: Jul 12, 2021
Voller Vorfreude können wir heute AWS-Deep-Learning-Container (DLCs) mit für die Interferenz integrierten SDKs ankündigen, die unseren Kunden ermöglichen, Hugging-Face-Modelle einfach und in großer Zahl auf Amazon SageMaker bereitzustellen. Wir haben damit den wichtigsten Wunsch der Kunden erfüllt, die Hugging-Face-AWS-Training-DLCs seit ihrer Veröffentlichung im März 2021 genutzt haben.
Ab heute unterstützt Amazon SageMaker die Bereitstellung von Hugging-Face-Modellen, wobei der Hugging-Face-AWS-Deep-Learning-Container zusätzlich zu den Hugging-Face-Training-DLCs für die Interferenz (Hugging-Face-Interferenz-DLCs) verwendet wird. Der Hugging-Face-Interferenz-DLC bietet unseren Kunden die Wahl zwischen TensorFlow- und PyTorch-Frameworks. Der Hugging-Face-Interferenz-DLC vereinfacht das Modell-Hosting und gestattet unseren Kunden, die abskalierte Bereitstellung in wenigen Minuten. Kunden können somit auch ihre Arbeit mit SageMaker Pipelines optimieren. Zuletzt ermöglicht dieser Release Kunden auch Hugging-Face-Modelle direkt von ihrem Hugging-Face-Model-Hub bereitzustellen oder ein Modell bereitzustellen, das sie zuvor mit unseren Hugging-Face-Training-DLCs verfeinert haben.
Seit 2016 ist Hugging Face, mit seiner Transformers-Bibliothek und seinem Modell-Hub, die über 10 000 vortrainierte Modelle enthalten und Entwicklern den Einstieg erleichtern, führend in der NLP-Community. Mit über 41 000 GitHub-Sternen und mehr als 25 Millionen Downloads ist die Hugging-Face-Transformers-Bibliothek zum De-facto-Platz für Entwickler, die an NLP-Modellen arbeiten, geworden. Der Hugging-Face-Interferenz-DLC in der Amazon-SageMaker-Python-SDK erleichtert es Entwickeln diese Modelle auf AWS bereitzustellen. Der Hugging-Face-Interferenz-DLC beinhaltet die Hugging-Face-Transformers-Bibliothek, das Deep-Learning-Framework und einen für SageMaker optimierten Deep-Learning-Modellserver. Entwickler können – im Vergleich zum Hosten eines benutzerdefinierten Containers – mit minimalem zusätzlichen Code ihre bereits trainierten Hugging-Face-Modelle auf AWS bereitstellen. Entwickler, die mit Hugging-Face-Modellen arbeiten können nun einfacher auf Amazon SageMaker entwickeln und dabei von der Kosteneffizienz, Skalierbarkeit, Serienreife und dem hohen Sicherheitsniveau, die SageMaker beim Modell-Hosting bietet, profitieren.
Der Hugging-Face-Interferenz-DLC ist in allen Regionen verfügbar, in denen auch Amazon SageMaker verfügbar ist, und wird ohne zusätzliche Kosten angeboten. Lesen Sie den Blog und die Dokumentation, um mehr zu erfahren, oder greifen Sie auf die Beispiel-Notebooks zu, um die neuen Integrationen auszuprobieren.