Veröffentlicht am: Nov 12, 2021
Wir freuen uns, NVIDIA Triton™ Inference Server in Amazon SageMaker anzukündigen. Damit können Kunden, die NVIDIA Triton als Modellserver wählen, ihre Container in SageMaker bereitstellen.
NVIDIA Triton ist ein Open-Source-Modellserver, der trainierte ML-Modelle aus mehreren ML-Frameworks ausführt, darunter PyTorch, TensorFlow, XGBoost und ONNX. Triton ist ein erweiterbarer Server, zu dem Entwickler neue Front-Ends, die Anforderungen in bestimmten Formaten erhalten können, sowie neue Back-Ends, die weitere Modellausführungslaufzeiten verarbeiten können, hinzufügen können. AWS hat eng mit NVIDIA zusammengearbeitet, um ein Triton Front-End, das mit in SageMaker gehosteten Containern kompatibel ist, sowie ein neues Back-End, das mit mit SageMaker Neo kompilierten Modellen kompatibel ist, hinzuzufügen. Dadurch können Kunden nun problemlos einen benutzerdefinierten Container, der ihr Modell enthält, mit Triton erstellen und in SageMaker übertragen. SageMaker Inference verarbeitet die Anforderungen und skaliert den Container bei verstärkter Nutzung automatisch. So wird die Modellbereitstellung mit Triton in AWS vereinfacht.
NVIDIA Triton™ Inference Server in Amazon SageMaker wird in allen Regionen unterstützt, in denen Amazon SageMaker verfügbar ist, ohne zusätzliche Kosten für den Container von Triton Inference Server. Weitere Informationen finden Sie im Blog und in der Dokumentation.