AWS Neuron을 사용하여 Trn2 인스턴스 시작하기

Anthropic에서는 수백만 명의 사람들이 매일 Claude를 사용하여 작업합니다. AWS와 관련하여 두 가지 주요 개선 사항이 있습니다. 첫 번째는 Claude 3.5 Haiku의 새로운 ‘지연 시간 최적화 모드’로, Amazon Bedrock을 통해 Trainium2에서 60% 더 빠르게 실행됩니다. 두 번째는 수백 엑사플롭을 제공하는 수십만 개의 Trainium2 칩이 포함된 새로운 클러스터인 Project Rainier로, 이전 클러스터 크기의 5배가 넘습니다. Project Rainier는 당사의 연구와 차세대 스케일링을 지원하는 데 도움이 될 것입니다. 이는 고객에게 더 많은 인텔리전스, 더 낮은 가격, 더 빠른 속도를 의미합니다. 당사는 단지 더 빠른 AI를 구축하는 것이 아니라 확장 가능하고 신뢰할 수 있는 AI를 구축하고 있습니다.

Databricks의 Mosaic AI를 통해 조직은 고품질 에이전트 시스템을 구축하고 배포할 수 있습니다. 기본적으로 데이터 레이크하우스 위에 구축되므로 고객은 엔터프라이즈 데이터를 사용하여 모델을 쉽고 안전하게 사용자 지정하고 보다 정확한 도메인별 출력을 제공할 수 있습니다. Trainium의 고성능과 비용 효율성 덕분에 고객은 저렴한 비용으로 Mosaic AI에서 모델 훈련의 규모를 조정할 수 있습니다. Mosaic AI에 대한 수요가 전 세계 모든 고객 부문으로 계속 확장됨에 따라 Trainium2의 가용성은 Databricks와 고객에게 큰 이점이 될 것입니다. 세계 최대 데이터 및 AI 기업 중 하나로서 Databricks는 Trn2를 사용하여 고객에게 더 나은 결과를 제공하고 TCO를 최대 30% 절감할 계획입니다.

poolside에서는 AI가 경제적으로 가치 있는 작업과 과학적 진보의 대부분을 주도하는 세상을 만들고자 합니다. 우리는 소프트웨어 개발이 신경망에서 인간 수준의 지능에 도달하는 첫 번째 주요 역량이 될 것이라고 믿습니다. 검색과 학습 접근 방식을 가장 잘 결합할 수 있는 영역이기 때문입니다. 이를 위해 개발자의 손(또는 키보드)에 생성형 AI의 강력한 성능을 접목하는 파운데이션 모델, API 및 어시스턴트를 구축하고 있습니다. 이 기술을 가능하게 하는 주요 관건은 제품을 구축하고 실행하는 데 사용하는 인프라입니다. AWS Trainium2를 통해 poolside 고객은 다른 AI 액셀러레이터와는 다른 가격 대비 성능으로 사용량을 확대할 수 있을 것입니다. 또한 Trainium2 UltraServer를 사용하여 향후 모델을 훈련할 예정인데 EC2 P5 인스턴스와 비교하여 40%의 비용 절감을 기대하고 있습니다.

Itaú Unibanco의 목적은 돈과 사람의 관계를 개선하여 삶에 긍정적인 영향을 미치는 동시에 변화의 기회를 확대하는 것입니다. Itaú Unibanco에서는 각 고객이 특별하다고 믿으며 AI의 강력한 기능을 활용하여 소비자 습관에 지속적으로 적응하는 직관적인 디지털 여정을 통해 고객의 요구를 충족하는 데 중점을 둡니다.

당사는 표준 추론부터 애플리케이션 미세 조정에 이르기까지 다양한 작업에서 AWS Trainium 및 Inferentia를 테스트했습니다. 이러한 AI 칩의 성능 덕분에 연구 개발에서 중요한 이정표를 달성할 수 있었습니다. 배치 및 온라인 추론 작업 모두에서 GPU에 비해 처리량이 7배 향상되었습니다. 이러한 성능 향상으로 조직 전체에 사용 사례가 확장되고 있습니다. 최신 Trainium2 칩은 생성형 AI에 획기적인 기능을 제공하고 Itau에서 혁신의 문을 열고 있습니다.

Ninja는 무한한 생산성을 위한 올인원 AI 에이전트입니다. 한 번의 구독으로 세계 최고의 AI 모델에 무제한으로 액세스하면서 작문, 코딩, 브레인스토밍, 이미지 생성, 온라인 연구와 같은 최고의 AI 기술을 이용할 수 있습니다. Ninja는 에이전트 플랫폼이며 프론티어 파운데이션 모델에 필적하는 (일부 범주에서는 능가하는) 세계적 수준의 정확도를 갖춘 에이전트 혼합을 사용하는 ‘SuperAgent’를 제공합니다. Ninja의 에이전트 기술은 고객이 기대하는 고유한 실시간 경험을 제공하기 위해 최고 성능의 액셀러레이터를 필요로 합니다. 

AWS Trn2가 Lama 3.1 405B를 기반으로 하는 코어 모델인 Ninja LLM에서 현재 가능한 최고의 토큰당 비용 성능과 가장 빠른 속도를 제공할 것으로 믿기 때문에 Trn2의 출시를 매우 기쁘게 생각합니다. Trn2의 짧은 지연 시간과 경쟁력 있는 가격, 온디맨드 가용성은 놀랍습니다. Trn2의 출시가 정말 기대됩니다!

RICOH 기계 학습 팀은 엔터프라이즈 솔루션 전반의 정보 흐름을 관리하고 최적화하도록 설계된 업무 공간 솔루션 및 디지털 트랜스포메이션 서비스를 개발합니다.

Trn1 인스턴스로의 마이그레이션은 간단했습니다. 당사는 4,096개의 Trainium 칩으로 구성된 클러스터를 활용하여 단 8일 만에 130억 파라미터 LLM을 사전 훈련할 수 있었습니다! 소형 모델에서 성공을 거둔 후 Llama-3-Swallow-70B를 기반으로 하는 새로운 대형 LLM을 미세 조정했으며, Trainium을 활용하면서 AWS의 최신 GPU 시스템을 사용할 때보다 훈련 비용을 50% 절감하고 에너지 효율을 25% 개선할 수 있었습니다. 최신 AWS AI 칩인 Trainium2를 활용하여 고객에게 최저 비용으로 최고의 성능을 지속적으로 제공할 수 있게 되어 기쁩니다.

AWS Neuron NxD Inference 라이브러리에서 가장 마음에 들었던 점은 PyTorch 모델과 원활하게 통합된다는 것입니다. NxD의 접근 방식은 간단하고 사용자 친화적입니다. 우리 팀은 짧은 시간 내에 최소한의 코드 변경으로 HuggingFace PyTorch 모델을 온보딩할 수 있었습니다. 연속 배칭, 추측 디코딩과 같은 고급 기능을 활성화하는 것은 간단했습니다. 이러한 사용 편의성은 개발자 생산성을 향상시켜 팀이 통합 문제보다는 혁신에 더 집중할 수 있습니다.

Refact.ai는 검색 증강 생성(RAG)으로 구동되는 코드 자동 완성과 같은 포괄적인 AI 도구를 제공하여 보다 정확한 제안을 제공하고 독점 모델과 오픈 소스 모델을 모두 사용하는 컨텍스트 인식 채팅을 제공합니다.

고객들은 EC2 G5 인스턴스에 비해 EC2 Inf2 인스턴스에서 최대 20% 더 높은 성능과 달러당 1.5배 더 높은 토큰을 경험했습니다. Refact.ai의 미세 조정 기능은 고객이 조직의 고유한 코드베이스 및 환경을 이해하고 이에 적응하는 능력을 더욱 향상시킵니다. 또한 워크플로를 더욱 신속하고 효율적으로 처리할 수 있는 Trainium2의 기능을 제공하게 되어 매우 기쁩니다. 이 고급 기술을 통해 고객은 코드베이스에 대한 엄격한 보안 표준을 유지하면서 개발자 생산성을 향상시켜 소프트웨어 개발 프로세스를 가속화할 수 있습니다.

KARAKURI는 웹 기반 고객 지원의 효율성을 개선하고 고객 경험을 단순화하는 AI 도구를 구축합니다. 이러한 도구에는 생성형 AI 기능이 탑재된 AI 챗봇, FAQ 중앙 집중화 도구, 이메일 응답 도구가 포함되며, 이 모든 도구는 고객 지원의 효율성과 품질을 개선합니다. AWS Trainium을 활용하여 KARAKURI LM 8x7B Chat v0.1을 훈련하는 데 성공했습니다. 우리와 같은 스타트업의 경우 LLM 구축 시간과 훈련에 필요한 비용을 최적화해야 합니다. AWS Trainium과 AWS 팀의 지원으로 짧은 기간 내에 실용적인 수준의 LLM을 개발할 수 있었습니다. 또한 AWS Inferentia를 도입하여 빠르고 비용 효율적인 추론 서비스를 구축할 수 있었습니다. Trainium2가 훈련 프로세스를 혁신하여 훈련 시간을 절반으로 단축하고 효율성을 새로운 차원으로 끌어올릴 것이기 때문에 Trainium2에 대해 열광하고 있습니다!

Stockmark는 ‘가치 창출의 메커니즘을 재창조하고 인류를 발전시킨다’는 사명 아래 최첨단 자연어 처리 기술을 제공함으로써 혁신적인 비즈니스를 만드는 많은 기업을 돕습니다. Stockmark의 새로운 데이터 분석 및 수집 서비스인 Anews와 조직에 저장된 모든 형태의 정보를 체계화하여 생성형 AI 사용을 획기적으로 개선하는 데이터 구조화 서비스인 SAT를 사용하려면 이러한 제품을 지원하기 위한 모델을 구축하고 배포하는 방식을 재고해야 했습니다. 당사는 256개의 Trainium 액셀러레이터를 사용하여 2,200억 개 토큰으로 구성된 일본어 코퍼스 데이터세트를 기반으로 처음부터 사전 훈련된 130억 개 파라미터의 대규모 언어 모델인 stockmark-13b를 개발, 출시했습니다. Trn1 인스턴스는 훈련 비용을 20% 절감하는 데 도움이 되었습니다. Trainium을 활용하여 전례 없는 정확성과 속도로 전문가를 위한 비즈니스 크리티컬 질문에 답변할 수 있는 LLM을 성공적으로 개발할 수 있었습니다. 기업이 모델 개발을 위한 적절한 컴퓨팅 리소스를 확보하는 데 직면하고 있는 광범위한 문제를 고려할 때 이러한 성과는 특히 주목할 만합니다. Trn1 인스턴스의 속도와 비용 절감도 놀라웠지만 Trainium2가 워크플로와 고객에게 제공할 추가적인 이점을 보게 되어 매우 기쁩니다.