Amazon Web Services 한국 블로그

Category: AWS Inferentia

Amazon Alexa, 비용 효율적인 EC2 Inf1 인스턴스 기반 추론 작업 전환 사례

Amazon Alexa 팀은 대다수의 GPU 기반 기계 학습 추론 워크로드를 AWS Inferentia 기반의 Amazon Elastic Compute Cloud(EC2) Inf1 인스턴스로 마이그레이션했습니다. 그 결과 GPU 기반 인스턴스에 비해 Alexa 텍스트-음성 변환 워크로드의 전체 지연이 25% 단축되고 비용이 30% 절감되었습니다. 지연이 짧으면 Alexa 엔지니어가 보다 복잡한 알고리즘으로 혁신하고 Alexa의 전반적인 고객 경험을 개선할 수 있습니다. AWS는 클라우드에서 최저 […]

Read More

Amazon ECS에서 기계 학습 추론을 위한 EC2 Inf1 인스턴스 정식 지원

기계 학습과 딥 러닝 모델이 더 정교해짐에 따라 높은 처리량으로 빠른 예측을 제공하는 데 필요한 하드웨어 가속의 중요성이 점점 더 커지고 있습니다. 오늘부터, AWS 고객은 Amazon ECS에서 Amazon EC2 Inf1 인스턴스를 사용하여 클라우드에서 성능을 개선하고 예측 비용을 절감할 수 있습니다. 이러한 인스턴스는 지난 몇 주 동안 Amazon Elastic Kubernetes Service에서도 제공되었습니다. EC2 Inf1 인스턴스에 대한 […]

Read More

Amazon EKS, 기계 학습 추론용 EC2 Inf1 인스턴스 지원 시작

Amazon Elastic Kubernetes Service (EKS)는 기계 학습 워크로드를 위한 최고의 선택으로 빠르게 자리매김하고 있습니다. 이 솔루션은 개발자의 민첩성 및 Kubernetes의 확장성을 C5, P3 및 G4 패밀리와 같이 AWS에서 사용할 수 있는 다양한 Amazon Elastic Compute Cloud(EC2) 인스턴스 유형과 결합합니다. 모델이 더욱 정교해짐에 따라 높은 처리량으로 빠른 예측을 제공하는 데 하드웨어 가속이 점점 더 요구되고 있습니다. […]

Read More

Amazon EC2 업데이트 – 고성능 추론을 위한 Inf1 인스턴스 출시

AWS의 고객은 기계 학습에 많은 관심을 가지고 있습니다. 객체 감지, 음성 인식, 자연어 처리, 개인화 및 사기 감지를 비롯한 다양한 유형의 워크로드를 실행하고 있습니다. 대규모 프로덕션 워크로드에서 실행하는 경우 가능한 한 빠르고 비용 효율적으로 추론을 수행할 수 있어야 합니다. 고객들의 피드백에 따르면, 추론은 기계 학습 작업 비용의 최대 90%까지 차지할 수 있습니다. 고성능 추론을 위한 […]

Read More