Veröffentlicht am: Mar 23, 2021
Der Bereich der natürlichen Sprachverarbeitung, der Anwendungsfälle wie Chatbots, Stimmungsanalyse, Fragebeantwortung und Suche antreibt, hat in den letzten Jahren eine Renaissance erlebt. Insbesondere die Transformer-Deep-Learning-Architektur war für einige der bisher größten State-of-the-Art-Modelle wie T5 und GPT-3 verantwortlich. Angesichts ihrer Größe erfordert das Training und die Optimierung von NLP-Modellen jedoch Zeit, Ressourcen und Fähigkeiten. Seit 2016 ist Hugging Face führend in der NLP-Community dank ihrer Transformers-Bibliothek, die über 7 000 vortrainierte Modelle in 164 Sprachen enthält und Entwicklern den Einstieg erleichtert. Mit über 41 000 GitHub-Sternen und mehr als 25 Millionen Downloads ist die Transformers-Bibliothek zum De-facto-Platz für Entwickler und Datenwissenschaftler geworden, um NLP-Modelle zu finden.
Der Hugging Face AWS Deep Learning Container (DLC) und der Hugging Face Estimator im Amazon SageMaker Python SDK erweitern die Benutzerfreundlichkeit, mit der Entwickler und Datenwissenschaftler mit NLP auf AWS beginnen können. Der Hugging Face DLC enthält die für SageMaker optimierten Bibliotheken für Hugging-Face-Transformatoren, -Datensätze und -Tokenizer, um die Vorteile der verteilten Trainingsbibliotheken von SageMaker zu nutzen. Der Hugging Face Estimator ermöglicht es Entwicklern und Datenwissenschaftlern, NLP-Scripts als SageMaker-Trainingsjobs mit minimalem Zusatzcode auszuführen. Hugging-Face-Entwickler können nun einfacher auf Amazon SageMaker entwickeln und von dessen Vorteilen wie Kosteneffizienz, Skalierbarkeit, Produktionsbereitschaft und hoher Sicherheit profitieren.
Der Hugging Face DLC und das SageMaker SDK sind in allen Regionen erhältlich, in denen Amazon SageMaker verfügbar ist, und sie werden ohne zusätzliche Kosten angeboten. Lesen Sie den Launch-Blog oder die Dokumentation, um mehr zu erfahren, oder greifen Sie auf die Beispiel-Notebooks zu, um die neuen Integrationen auszuprobieren.