AWS Inferentia는 저렴한 비용으로 높은 성능을 제공하도록 설계된 기계 학습 추론 칩입니다. AWS Inferentia는 TensorFlow, Apache MXNet 및 PyTorch 딥 러닝 프레임워크뿐만 아니라 ONNX 형식을 사용하는 모델을 지원합니다.
훈련된 기계 학습 모델(추론이라는 프로세스)을 사용하여 예측하면 애플리케이션의 컴퓨팅 비용이 90%까지 증가할 수 있습니다. Amazon Elastic Inference를 사용하여 개발자는 GPU 기반 추론 가속을 Amazon EC2 및 Amazon SageMaker 인스턴스에 연결하여 추론 비용을 최대 75 %까지 줄일 수 있습니다. 그러나 일부 추론 워크로드는 전체 GPU가 필요하거나 짧은 지연 시간 요구 사항이 매우 낮습니다. 이 문제를 저렴한 비용으로 해결하려면 전용 추론 칩이 필요합니다.
AWS Inferentia는 매우 낮은 비용으로 높은 처리량, 짧은 지연 시간의 추론 성능을 제공합니다. 각 칩은 복잡한 모델이 추론을 빠르게 수행할 수 있도록 수백 TOPS(초당 테라 연산)의 추론 처리량을 제공합니다. 성능을 더 높이기 위해 AWS Inferentia 칩을 여러 개 함께 사용하여 수천 TOPS의 처리량을 제공할 수도 있습니다. AWS Inferentia는 Amazon SageMaker, Amazon EC2 및 Amazon Elastic Inference와 함께 사용할 수 있습니다.
서비스 가용성 알림 가입
AWS Inferentia 사용 가능 여부에 대한 알림을 받으려면, 여기에 가입하십시오. 더 자세한 정보가 제공되면 이메일을 보내 드리겠습니다.
