Amazon EC2 Inf1 인스턴스

"지표 투과 레이더를 사용하고 시각적 결함을 감지하는 일은 일반적으로 전문 측량사의 영역입니다. AWS의 마이크로서비스 기반 아키텍처에서는 자동 검사 차량과 검사자를 통해 캡처된 동영상을 처리할 수 있습니다. 내부 구축 모델을 기존의 GPU 기반 인스턴스에서 Inferentia로 마이그레이션한 후 비용을 50%까지 절감할 수 있었습니다. 뿐만 아니라 G4dn GPU 인스턴스와 시간을 비교할 때 성능이 개선된 것을 확인했습니다. 우리 팀은 더 많은 워크로드를 Inferentia 기반 Inf1 인스턴스에서 실행하는 것을 기대하고 있습니다.”

Jesús Hormigo, Screening Eagle Technologies Chief of Cloud and AI Officer

일본에서 네트워크 서비스 및 통신 솔루션을 제공하는 NTT PC Communications는 정보 및 통신 기술 시장에 혁신적인 신제품을 소개하는 통신 사업자입니다.

"NTT PC는 고급 자세 추정 ML 모델을 기반으로 한 모션 분석 API 플랫폼 서비스인 ‘AnyMotion’을 개발했습니다. 당사는 완전관리형 컨테이너 오케스트레이션 서비스를 위해 Amazon ECS를 사용하여 Amazon EC2 Inf1 인스턴스에 AnyMotion 플랫폼을 배포했습니다. Amazon EC2 Inf1에 AnyMotion 컨테이너를 배포함으로써 현재 세대 GPU 기반 EC2 인스턴스에 비해 전체에서 4.5배 더 높아졌고 추론 지연 시간은 25%, 비용은 90% 더 낮아졌습니다. 이 우수한 결과는 AnyMotion 서비스의 품질을 대규모로 개선하는 데 도움이 될 것입니다."

Toshiki Yanagisawa, NTT PC Communications Inc. Software Engineer

Anthem은 미국의 유명한 의료 복지 회사로, 수십 개 주에 걸쳐 4,000만 명이 넘는 회원의 의료 요구 사항을 해결합니다. 

"디지털 의료 플랫폼 시장은 놀라운 속도로 성장 중입니다. 이 시장에 대한 인텔리전스는 고객 의견 데이터의 양이 방대할 뿐 아니라 구조화되지 않은 데이터 특성으로 인해 수집하기가 어렵습니다. 당사의 애플리케이션은 DL 자연어 모델(변환기)을 통해 고객 의견에서 유용한 인사이트를 자동으로 생성합니다. 이 애플리케이션은 계산 집약적이므로 높은 수준의 성능 기준을 충족할 수 있는 방식으로 배포되어야 합니다. 저희는 DL 추론 워크로드를 AWS Inferentia 프로세서로 구동되는 Amazon EC2 Inf1 인스턴스에 원활하게 배포했습니다. 새로운 Inf1 인스턴스는 GPU 기반 인스턴스에 2배 더 높은 처리량을 제공하기에 추론 워크로드를 간소화할 수 있었습니다.”

Numan Laanait와 Miro Mihaylov 박사, Anthem Principal AI/Data Scientists

"Condé Nast의 글로벌 포트폴리오는 Wired, Vogue, Vanity Fair를 포함하여 20개가 넘는 업계 주요 미디어 브랜드를 아우릅니다. 우리 팀은 자사의 추천 엔진과 AWS Inferentia 칩을 몇 주 만에 통합할 수 있었습니다. 이러한 통합 덕분에 SageMaker의 Inf1 인스턴스에서 최첨단 자연어 모델에 대해 여러 가지 런타임 최적화를 수행할 수 있습니다. 그에 따라 이전에 배포한 GPU 인스턴스와 비교해 72%의 비용을 절감했습니다."

Paul Fryzel, Condé Nast AI Infrastructure Principal Engineer

“Ciao는 기존의 보안 카메라를 사람 눈의 기능에 상응하는 고성능 분석 카메라로 발전시키고 있습니다. 당사는 클라우드 기반 AI 카메라 솔루션을 사용하여 환경 조건을 모니터링하고 재해가 되기 전에 알림으로써 재해 예방을 개선하는 애플리케이션을 제공합니다. 알림이 제공되면 상황에 미리 대응할 수 있습니다. 또한 객체 탐지를 기반으로 소매점 비디오에서 직원 없이 들어오는 손님의 수를 예측하여 인사이트를 제공할 수도 있습니다. Ciao Camera는 G4dn with YOLOv4보다 가격 대비 성능이 40% 우수한 AWS Inferentia 기반 Inf1 인스턴스를 상용 도입했습니다. 앞으로 더 많은 서비스에 Inf1의 탁월한 비용 효율성을 활용할 계획입니다.”

Shinji Matsumoto, Ciao Inc. Software Engineer

"Asahi Shimbun은 일본에서 가장 널리 읽히는 신문 중 하나입니다. 당사의 부서로 설립된 Media Lab은 최신 기술, 그중에서도 특히 AI를 연구하고 새로운 사업을 위해 첨단 기술을 연결하는 것을 미션으로 삼습니다. AWS Inferentia 기반 Amazon EC2 Inf1 인스턴스가 도쿄에 출시되었을 때 PyTorch 기반 텍스트 요약 AI 애플리케이션을 여기에 테스트했습니다. 이 애플리케이션은 방대한 텍스트를 처리하고 최근 30년 이내의 기사로 훈련된 제목과 요약문을 생성합니다. Inferentia를 사용해서 CPU 기반 인스턴스보다 비용을 몇 배나 낮출 수 있었습니다. 이렇게 비용이 대폭 절감되면 재정적으로 불가능하다고 생각했던 가장 복잡한 모델도 대규모로 배포할 수 있게 됩니다."

Hideaki Tamori, PhD, Asahi Shimbun Company Media Lab Senior Administrator

"CS Disco는 법률가가 법률가를 위해 개발한 전자증거개시(e-Discrovery)를 위한 AI 솔루션을 선보이는 주요 제공업체로서 법률 기술을 재창조하고 있습니다. Disco AI는 몇 테라바이트 분량의 데이터를 결합하는 아무런 보람 없는 태스크를 가속화하여 검토 시간을 높이고 검토 정확도를 개선하는데, 이를 위해 컴퓨팅 비용이 비싸고 많이 드는 복잡한 NLP 모델을 활용합니다. Disco는 AWS Inferentia 기반의 Inf1 인스턴스가 오늘날의 GPU 인스턴스와 비교해 Disco AI의 추론 비용을 35% 이상 절감한다는 사실을 확인했습니다. CS Disco는 Inf1 인스턴스와 관련된 이러한 긍정적인 경험을 바탕으로 Inferentia로 마이그레이션할 기회를 살펴볼 예정입니다."

Alan Lockett, CS Disco Sr. Director of Research

"Talroo에서는 고객이 고유한 구직 희망자에게 지원서를 받고 채용할 수 있는 데이터 중심적 플랫폼을 제공합니다. 고객에게 최고의 제품과 서비스를 제공하기 위한 항상 새로운 기술을 탐색합니다. Inferentia를 사용하여 텍스트 데이터 코퍼스에서 인사이트를 추출하고, AI로 작동하는 검색 및 일치 기술을 강화합니다. Talroo는 Amazon EC2 Inf1 인스턴스를 사용해서 SageMaker로 대량 처리가 가능한 NLU 모델을 개발합니다. Talroo의 초기 테스트에 따르면, Amazon EC2 Inf1 인스턴스는 G4dn GPU 기반 인스턴스보다 추론 지연 시간이 40% 감소하고 처리량은 2배로 높아졌습니다. Talroo는 이 결과를 바탕으로 AWS 인프라에서 Amazon EC2 Inf1 인스턴스를 사용하고자 합니다."

Janet Hu, Talroo Software Engineer

“Digital Media Professionals(DMP)는 AI 기반의 ZIA™ 플랫폼으로 미래를 시각화합니다. DMP의 효율적인 컴퓨터 비전 분류 기술은 많은 양의 실시간 이미지 데이터(예: 상태 관찰, 범죄 예방 및 사고 방지)에 대한 인사이트를 구축하는 데 사용됩니다. 회사의 이미지 세분화 모델은 AWS Inferentia 기반 Inf1 인스턴스에서 GPU 기반 G4 인스턴스보다 4배 빠르게 실행됩니다. 처리량은 높고 비용은 낮기 때문에 Inferentia에서는 차량 블랙박스용 애플리케이션과 같은 AI 워크로드를 대규모로 배포할 수 있습니다."

Hiroyuki Umeda, Digital Media Professionals Director & General Manager, Sales & Marketing Group

Hotpot.ai는 디자이너가 아닌 사람이 훌륭한 그래픽을 만들 수 있는 기능과 전문 디자이너가 기계적인 작업을 자동화할 수 있는 기능을 제공합니다. 

“회사 전략의 핵심이 ML이기 때문에 저희는 AWS Inferentia 기반 Inf1 인스턴스에 대한 기대가 큽니다. Inf1 인스턴스는 회사의 연구 및 개발 파이프라인에 손쉽게 통합됩니다. 무엇보다 G4dn GPU 기반 인스턴스에 비해 인상적인 수준의 성능 이점을 제공하는 것이 확인되었습니다. 당사의 첫 번째 모델에서 Inf1 인스턴스는 약 45% 높은 처리량을 제공했고 추론당 비용은 거의 50%까지 감소했습니다. 저희는 AWS 팀과 긴밀하게 협력하여 다른 모델을 포팅하고 대부분의 ML 추론 인프라를 AWS Inferentia로 전환할 계획입니다."

Clarence Hu, Hotpot.ai 창립자

"SkyWatch는 매일 우주에서 캡처된 수백조 픽셀이 지구 관측 데이터를 처리합니다. 실시간 클라우드 감지 및 이미지 품질 분류를 위해 Amazon SageMaker를 사용하는 AWS Inferentia 기반의 새로운 Inf1 인스턴스를 채택하는 것은 빠르고 간편했습니다. 간단히 배포 구성에서 인스턴스 유형을 전환하기만 하면 되었습니다. 인스턴스 유형을 Inferentia 기반의 Inf1으로 전환함으로써, 당사는 성능을 40% 개선하고 전체 비용을 23% 절감했습니다. 이는 정말 대단한 성과입니다. 이 인스턴스를 사용함으로써 당사는 최소한의 엔지니어링 작업을 통해 고품질 위성 이미지를 계속해서 제공하는 동시에 전반적인 운영 비용을 낮출 수 있었습니다. 당사는 데이터 신뢰성과 고객 경험을 더욱 개선하기 위해 당사의 모든 추론 엔드포인트 및 배치 ML 프로세스가 Inf1 인스턴스를 사용하도록 전환할 계획입니다."

Adler Santos, SkyWatch Engineering Manager

Money Forward Inc.는 개인 및 기업 고객을 위한 개방형의 공정한 금융 플랫폼을 제공합니다. Money Forward 그룹의 자회사인 HiTTO Inc.는 이 플랫폼의 일부로 AI 챗봇 서비스를 제공하는데, 이 서비스는 맞춤형 NLP 모델을 사용하여 기업 고객의 다양한 요구 사항을 해결합니다.

"AI 챗봇 서비스를 Amazon EC2 Inf1 인스턴스로 마이그레이션하는 작업은 아주 간단했습니다. 2개월 안에 마이그레이션을 마쳤고 Inf1 인스턴스에서 Amazon ECS를 사용하여 대규모 서비스를 시작했습니다. 각 Inf1 인스턴스에서 다수의 모델을 지원하여 추론 지연 시간을 97% 줄이고 추론 비용을 50% 이상(비교 가능한 GPU 기반 인스턴스 대비) 절감했습니다. 앞으로 더 많은 워크로드를 Inferentia 기반 Inf1 인스턴스에서 실행하려고 합니다.”

Kento Adachi, Money Forward, Inc. CTO Office Technical lead