Veröffentlicht am: Dec 1, 2021
Amazon SageMaker Inference Recommender unterstützt Sie bei der Auswahl der besten verfügbaren Computing-Instance und Konfiguration für die Bereitstellung von Machine-Learning-Modellen, um eine optimale Inferenzleistung zu den günstigsten Kosten zu erzielen.
Die Auswahl einer Computing-Instance mit der besten Preisleistung für die Bereitstellung von Machine-Learning-Modellen ist ein komplizierter, iterativer Prozess, der wochenlanges Experimentieren erfordern kann. Zunächst müssen Sie aus über 70 Optionen basierend auf den Ressourcenanforderungen Ihrer Modelle und der Größe der Eingabedaten den richtigen ML-Instance-Typ auswählen. Anschließend müssen Sie das Modell für den ausgewählten Instance-Typ optimieren. Schließlich müssen Sie die Infrastruktur bereitstellen und verwalten, um Lasttests durchzuführen und die Cloudkonfiguration für optimale Leistung und Kosten abzustimmen. All dies kann die Modellbereitstellung und die Markteinführung verzögern.
Amazon SageMaker Inference Recommender wählt automatisch den richtigen Computing-Instance-Typ, die Anzahl der Instances, Container-Parameter und Modelloptimierungen für die Inferenz aus, um die Leistung zu maximieren und die Kosten zu minimieren. Sie können SageMaker Inference Recommender über SageMaker Studio, die AWS-Befehlszeilenschnittstelle (CLI) oder das AWS-SDK verwenden und erhalten innerhalb weniger Minuten Empfehlungen für die Bereitstellung Ihres ML-Modells. Sie können Ihr Modell dann auf einer der empfohlenen Instances bereitstellen oder einen vollständig verwalteten Lasttest auf einer Reihe von Instance-Typen Ihrer Wahl durchführen, ohne sich um die Testinfrastruktur kümmern zu müssen. Sie können die Ergebnisse des Lasttests in SageMaker Studio überprüfen und die Kompromisse zwischen Latenz, Durchsatz und Kosten bewerten, um die optimale Bereitstellungskonfiguration auszuwählen.
Amazon SageMaker Inference Recommender ist in allen Regionen allgemein verfügbar, in denen SageMaker verfügbar ist, mit Ausnahme der AWS-China-Regionen. Weitere Informationen finden Sie auf der Webseite zur Bereitstellung von SageMaker-Modellen und in der Dokumentation zu SageMaker Inference Recommender.