AWS와 Hugging Face, 생성형 AI 접근성 및 비용 효율성을 위한 협력 발표

생성형 AI (Generative AI) 애플리케이션을 만드는 데 사용되는 대규모 언어 및 비전 모델 훈련, 미세 조정 및 배포를 가속화하기 위해 AWS와 Hugging Face 간의 확장된 협업을 발표합니다. 생성형 AI 애플리케이션은 텍스트 요약, 질문에 답하기, 코드 생성, 이미지 생성, 에세이 및 기사 작성 등 다양한 작업을 수행할 수 있습니다.

AWS는 생성형 AI 분야에서 깊은 혁신의 역사를 가지고 있습니다. 예를 들어 Amazon은 AI를 사용하여 고객이 매주 수십억 번 상호 작용하는 Alexa와의 대화 경험을 제공하고, Create with Alexa와 같은 새로운 경험의 일부로 생성형 AI를 점점 더 많이 사용하고 있습니다. 또한 M5는 Amazon의 여러 팀이 애플리케이션에 대형 모델을 가져올 수 있도록 돕고 Amazon.com 검색 결과를 개선하도록 훈련된 대형 모델을 지원하는 Amazon Search 내의 그룹입니다.

AWS는 글로벌 인프라, Amazon SageMaker, 통합 개발 환경(IDE) 코드 및 주석을 기반으로 코드 권장 사항을 생성하여 개발자 생산성을 향상시키는 서비스인 Amazon CodeWhisperer와 같은 AI 서비스를 포함하여 기계 학습의 모든 영역에서 지속적으로 혁신하고 있습니다. 또한, AWS에서 대규모 언어 및 비전 모델 훈련(AWS Trainium) 및 추론(AWS Inferentia)을 위해 특별히 구축된 ML 가속기를 만들었습니다.

Hugging Face는 AWS가 Amazon SageMaker, AWS Trainium 및 AWS Inferentia를 포함하여 Hugging Face 모델을 훈련, 미세 조정 및 배포할 수 있는 최신 도구 전반에 걸쳐 유연성을 제공하기 때문에 AWS를 선택했습니다. Hugging Face를 사용하는 개발자는 이제 성능을 쉽게 최적화하고 비용을 절감하여 생성형 AI 애플리케이션을 생산에 더 빠르게 도입할 수 있습니다.

고성능 및 비용 효율적인 생성형 AI 구축

대규모 언어 및 비전 모델을 구축, 훈련 및 배포하는 것은 기계 학습(ML)에 대한 깊은 전문 지식이 필요한 비용과 시간이 많이 소요되는 프로세스입니다. 모델이 매우 복잡하고 수천억 개의 매개변수를 포함할 수 있기 때문에 생성 AI는 많은 개발자가 접근할 수 없는 영역입니다.

이러한 격차를 줄이기 위해 Hugging Face는 이제 AWS와 협력하여 개발자가 AWS 서비스에 더 쉽게 액세스하고 생성 AI 애플리케이션용으로 특별히 Hugging Face 모델을 배포할 수 있도록 합니다.  짧은 지연 시간과 높은 처리량 추론으로 더 빠른 훈련 및 확장에 도움이 됩니다.

예를 들어 AWS Trainium으로 구동되는 Amazon EC2 Trn1 인스턴스는 비교 가능한 GPU 기반 인스턴스에 비해 최대 50%의 교육 비용 절감을 제공하면서 더 빠른 교육 시간을 제공합니다. 최신 세대의 AWS Inferentia로 구동되는 Amazon EC2의 새로운 Inf2 인스턴스는 최신 세대의 대규모 언어 및 비전 모델을 배포하고 최대 4배 더 높은 처리량과 최대 10배 더 낮은 지연 시간을 제공하여 Inf1의 성능을 높이기 위해 특별히 제작되었습니다. 개발자는 ML용 도구 및 워크플로가 포함된 서비스인 Amazon SageMaker와 같은 관리형 서비스를 통해 AWS Trainium 및 AWS Inferentia를 사용할 수 있습니다. 또는 Amazon EC2에서 자체 관리할 수 있습니다.

지금 시작해보세요!

AWS 고객은 Amazon SageMaker JumpStart, Hugging Face AWS Deep Learning Containers (DLC) 또는 AWS Trainium 또는 AWS Inferentia에 모델을 배포하는 실습 자습서를 통해 AWS에서 Hugging Face 모델을 사용할 수 있습니다. Hugging Face DLC에는 최적화된 변환기, 데이터 세트 및 토크나이저 라이브러리가 포함되어 있어 최소한의 코드 변경으로 몇 주가 아닌 몇 시간 내에 생성 AI 애플리케이션을 대규모로 미세 조정하고 배포할 수 있습니다. SageMaker JumpStart 및 Hugging Face DLC는 Amazon SageMaker가 제공되는 모든 지역에서 추가 비용 없이 제공됩니다. 제품 설명서 및 토론 포럼을 읽고 자세한 내용을 알아보거나 지금 바로 샘플 노트북을 사용해 보세요.

AWS와 Hugging Face의 협력에 대한 더 자세한 것은 Hugging Face and AWS partner to make AI more accessible을 참고하세요.