Amazon SageMaker Inference Recommender 신규 기능 출시 – 자동 ML 인스턴스 로드 테스트 및 모델 성능 최적화

오늘, 기계 학습(ML) 인스턴스 전반에서 부하 테스트를 자동화하고 모델 성능을 최적화하는 새로운 Amazon SageMaker Studio 기능인 Amazon SageMaker Inference Recommender를 발표하게 되어 기쁘게 생각합니다. 더 나아가 이 기능은 개발부터 프로덕션에 이르기까지 기계 학습 모델을 얻는 데 걸리는 시간을 줄이고 운영과 관련된 비용을 최적화합니다.

지금까지 모델에 가장 적합한 기계 학습 인스턴스를 선택할 수 있는 수단을 MLOps 엔지니어에게 제공하는 서비스는 없었습니다. MLOps 엔지니어는 비용을 최적화하고 인스턴스 사용률을 극대화하기 위해 기계 학습 실행 요구사항을 기반으로 엔지니어 및 해당 모델을 잘 지원할 수 있는 기계 학습 인스턴스 유형을 선택하는 데 있어서 자신의 경험과 직관을 활용해야 했습니다. 또한 사용 가능한 기계 학습 인스턴스가 매우 많고 각 모델의 의미 차이가 매우 크다는 것을 고려할 때, 올바른 인스턴스 유형을 선택하기 위해서는 여러 번의 시도가 필요할 것입니다. 이제 SageMaker Inference Recommender를 사용하면 MLOps 엔지니어는 자신의 모델 실행에 사용 가능한 최적의 인스턴스 유형에 대한 권장 사항을 얻을 수 있습니다. 인스턴스가 선택되면 몇 번의 클릭만으로 해당 모델을 선택한 인스턴스 유형에 즉시 배포할 수 있습니다. 성능 벤치마크 및 부하 테스트를 실행하기 위해 사용자 지정 스크립트를 작성하는 시대는 지났습니다.

프로덕션 환경으로 푸시하기 전에 해당 모델의 성능 데이터를 얻고자 하는 MLOps 엔지니어의 경우, SageMaker Inference Recommender를 사용하여 시뮬레이션된 환경에서 모델의 부하 테스트를 실행할 수도 있습니다. 배포 전에 필요한 처리량, 샘플 페이로드, 대기 시간 제약 등의 파라미터를 지정하고 선택한 인스턴스 세트에서 이러한 제약 조건에 대해 모델을 테스트할 수 있습니다. 이를 통해 MLOps 엔지니어는 해당 모델이 실제 상황에서 어느 정도의 성능을 낼 수 있을지에 대한 데이터를 수집하여 모델을 프로덕션에서 사용하는 데 문제가 없는지 확인하거나 모델을 세상에 내놓기 전에 해결해야 할 잠재적 문제점을 확인할 수 있습니다.

그 외에도 SageMaker Inference Recommender에는 MLOps 엔지니어 작업을 덜어주고 해당 모델의 최적 작동 유지를 보장하기 위한 여러 기능이 있습니다. MLOps 엔지니어는 SageMaker Inference Recommender 벤치마킹 기능을 사용하여 특정 요구 사항 하에 프로덕션 환경에서 부하가 존재하는 상태로 액세스할 때 모델 성능을 추정하는 맞춤형 부하 테스트를 수행할 수 있습니다. 이러한 테스트의 결과는 SageMaker Studio 또는 AWS SDK 또는 AWS CLI를 사용하여 로드할 수 있으므로 MLOps 엔지니어는 모델 성능을 파악하거나, 다양한 구성을 비교하거나, 결과를 이해 관계자와 공유할 수 있습니다.

자세히 알아보기
MLOps 엔지니어는 Amazon SageMaker Studio, AWS SDK 및 CLI를 통해 Amazon SageMaker Inference Recommender를 시작할 수 있습니다. Amazon SageMaker Inference Recommender는 SageMaker를 사용할 수 있는 모든 AWS 상용 리전(KIX 제외)에서 사용할 수 있습니다. 자세한 내용은 Amazon SageMaker Inference Recommender 랜딩 페이지를 참조하세요.

시작하려면 SageMaker Inference Recommender 설명서를 참조하세요.

– Sean