Veröffentlicht am: Jun 26, 2023
Ab heute können Sie Inferentia 2 und Trainium 1 als zusätzliche Ziele wählen, um Ihre PyTorch- und TensorFlow-Modelle für Amazon SageMaker Neo zu kompilieren, eine Funktion von Amazon SageMaker, mit der Kunden Machine-Learning-Modelle (ML) für Inferenz auf SageMaker optimieren können, um schnellere Inferenzen ohne Genauigkeitsverlust zu erzielen. Instances von Amazon Elastic Compute Cloud (Amazon EC2) Inf2 liefern hohe Leistung zu den niedrigsten Kosten für generative Modelle der künstlichen Intelligenz (KI), einschließlich großer Sprachmodelle (LLMs) und Vision-Transformatoren. AWS Trainium beschleunigt das Machine Learning (ML). AWS hat diese Lösung speziell für Deep-Learning-Trainings von über 100 Milliarden Parametermodellen entwickelt.
Inferentia-2-Instances sind in US-East-2- und Trainium-1-Instances in US-East-1 verfügbar. Sie können schnell über die Konsole loslegen, indem Sie einfach ml_inf2 oder ml_trn1 als Zielgerät auswählen. Wenn Sie ein SDK verwenden, um Modelle mit Neo zu kompilieren, legen Sie das Feld TargetDevice in der Ausgabekonfiguration auf ml_inf2 oder ml_trn1 fest. Unterstützte Frameworks sind PyTorch 1.13 und TensorFlow 2.10. Erfahre hier mehr darüber.
Um mehr über AWS Sagemaker Neo und die Konsolenerfahrung zu erfahren, lesen Sie bitte die Dokumentation hier. Melden Sie sich zum Einstieg bei der Amazon-SageMaker-Konsole an.