AWS Inferentia 고객

NetoAI는 통신사가 복잡한 다중 도메인 운영 및 고객 수명 주기 관리를 자동화할 수 있도록 TSLAM, ViNG, DigiTwin, NAPI를 포함한 TelcoCore 제품군을 제공합니다. 이 부문의 첫 번째 오픈 소스, 행동 지향 모델인 TSLAM LLM이 그 초석입니다. 이를 빌드하기 위해 20억 개의 방대한 독점 데이터세트 토큰을 기반으로 모델을 미세 조정해야 했으며, AWS Trainium trn1 인스턴스에서 Amazon SageMaker를 사용하여 비용을 크게 절감하고 3일 이내에 전체 미세 조정을 완료했습니다. 프로덕션 환경에서 AWS Inferentia2와 Neuron SDK는 300~600밀리초의 낮은 추론 지연 시간을 일관되게 제공합니다. AWS 목적별 AWS AI 칩에 기반한 이 포괄적인 솔루션은 전체 통신 산업에 특화된 고성능 AI를 제공한다는 미션의 핵심입니다.

 

Ravi Kumar Palepu, 설립자 겸 CEO

HummingLM을 위한 대규모 오디오 대 오디오 모델 훈련은 컴퓨팅 집약적인 작업이고 반복도 많습니다. 우리는 훈련 워크로드를 AWS Trainium으로 마이그레이션하고 Amazon SageMaker HyperPod로 오케스트레이션함으로써 모델 정확도를 유지하면서 훈련 비용을 54% 줄이고 훈련 주기를 50% 단축했습니다. 또한 높은 처리량 그리고 훈련 데이터 및 체크포인트에 대한 낮은 지연 시간을 지원하기 위해 Amazon FSx for Lustre를 활용하여 1주일만에 2PB 이상의 데이터를 Amazon S3로 마이그레이션했습니다. AWS Inferentia2 기반 Inf2 인스턴스를 사용하면 추론 지연 시간을 최대 10배 줄일 수 있어 더 빠르고 응답성이 뛰어난 실시간 음악 생성이 가능합니다.