Amazon SageMaker, 다중 어댑터 모델 추론 출시
Amazon SageMaker는 오늘 사전 학습된 언어 모델을 사용하는 고객에게 흥미로운 가능성을 열어 주는 새로운 다중 어댑터 추론 기능을 소개합니다. 이 기능을 사용하면 단일 엔드포인트 뒤에 수백 개의 미세 조정된 Low-Rank Adaptation(LoRa) 모델 어댑터를 배포하고 요청에 따라 적절한 어댑터를 밀리초 단위 이내에 동적으로 로드할 수 있습니다. 이를 통해 공통 기본 모델을 기반으로 구축된 많은 특수 LoRa 어댑터를 효율적으로 호스트하여 개별 모델을 배포하는 것에 비해 높은 처리량과 비용 절감 효과를 제공할 수 있습니다.
다중 어댑터 추론을 활용하면 사전 학습된 모델을 다양한 비즈니스 요구 사항에 맞게 신속하게 사용자 지정할 수 있습니다. 예를 들어 마케팅 및 SaaS 회사는 각 고객의 고유한 이미지, 커뮤니케이션 스타일 및 문서를 사용해 AI/ML 애플리케이션을 개인화하여 몇 초 만에 맞춤형 콘텐츠를 생성할 수 있습니다. 마찬가지로 의료 및 금융 서비스와 같은 산업의 기업은 일반적인 LoRa 기반 모델을 재사용해 적절한 미세 조정 어댑터를 교체하여 의료 진단에서 사기 행위 탐지에 이르기까지 다양한 특수 작업을 처리할 수 있습니다. 이러한 유연성과 효율성 덕분에 조직 전반에 걸쳐 강력하고 조정 가능한 AI를 배포할 수 있는 새로운 기회가 확보됩니다.
다중 어댑터 추론 기능은 아시아 태평양(도쿄, 서울, 뭄바이, 싱가포르, 시드니, 자카르타), 캐나다(중부), 유럽(프랑크푸르트, 스톡홀름, 아일랜드, 런던), 중동(UAE), 남아메리카(상파울루), 미국 동부(버지니아 북부, 오하이오) 및 미국 서부(오리건)에서 정식 버전으로 사용할 수 있습니다.
시작하려면 Amazon SageMaker 개발자 안내서에서 LoRa 사용 및 모델 어댑터 관리에 대한 내용을 참조하세요.