Veröffentlicht am: Nov 28, 2018
AWS Inferentia ist ein Machine-Learning-Inferenzchip, der speziell von AWS im Hinblick auf hohen Durchsatz und eine Interferenzleistung mit niedriger Latenz bei extrem geringen Kosten entwickelt wurde. AWS Inferentia unterstützt die Deep Learning Frameworks von TensorFlow, Apache MXNet und PyTorch sowie Modelle, die das ONNX-Format nutzen.
AWS Inferentia bietet Hunderte von TOPS (tera operations per second) an Interferenz-Durchsatz und ermöglicht komplexen Modellen damit schnelle Prognosen. Für noch mehr Leistung lassen sich AWS Inferentia-Chips auch gemeinsam nutzen, was Tausende TOPS an Durchsatz ermöglicht.
AWS Inferentia ist für den Einsatz mit Amazon SageMaker, Amazon EC2 und Amazon Elastic Inference verfügbar. Weitere Informationen zu AWS Inferentia finden Sie auf dieser Webseite.