Amazon SageMaker Neo, 이제 Inferentia 2 and Trainium 1 인스턴스에 대한 PyTorch 및 TensorFlow 모델의 컴파일 지원

오늘부터 Inferentia 2 및 Trainium 1을 추가 대상으로 선택하여 Amazon SageMaker Neo용 PyTorch 및 TensorFlow 모델을 컴파일할 수 있습니다. Amazon SageMaker Neo는 고객이 SageMaker에서 추론을 위한 기계 학습(ML) 모델을 최적화하여 정확도를 유지하면서 추론 속도를 높일 수 있도록 하는 Amazon SageMaker의 기능입니다. Amazon Elastic Compute Cloud(Amazon EC2) Inf2 인스턴스는 대규모 언어 모델(LLM), 비전 변환기 등 생성형 인공 지능 모델을 위해 최저 비용으로 높은 성능을 제공합니다. AWS Trainium은 1,000억 개가 넘는 파라미터 모델의 딥 러닝 훈련을 위해 AWS에서 특별히 구축한 기계 학습(ML) 액셀러레이터입니다.

Inferentia 2 인스턴스는 us-east-2에서, Trainium 1 인스턴스는 us-east-1에서 사용할 수 있습니다. 콘솔에서 ml_inf2 또는 ml_trn1을 대상 디바이스로 선택하기만 하면 되므로 빠르게 시작할 수 있습니다. SDK를 사용하여 Neo를 사용하는 모델을 컴파일하는 경우 출력 구성에서 TargetDevice 필드를 ml_inf2 또는 ml_trn1로 설정합니다. 지원되는 프레임워크는 PyTorch 1.13과 TensorFlow 2.10입니다. 여기에서 자세히 알아보세요.

AWS Sagemaker Neo와 콘솔 경험에 대해 자세히 알아보려면 여기에서 설명서를 참조할 수 있습니다. 시작하려면 Amazon SageMaker 콘솔에 로그인하세요.