소프트웨어 및 기술을 위한 AWS

고객 이야기

How Hugging Face is helping companies embrace open models

작성자: AWS Editorial Team | 2025년 2월 21일 | 사고의 리더십

개요

오픈 소스 파운데이션 모델(FM)은 지난 1년 반 동안 엄청난 속도로 보편화되어 폐쇄형 모델을 빠르게 따라잡았습니다. 엔지니어들은 이제 100만 개 이상의 모델을 자유롭게 사용할 수 있으며, 이들 중 다수는 현존하는 최고의 폐쇄형 모델과 동등한 성능을 발휘합니다. 한때 개인으로만 국한되었던 개방형 모델의 사용 범위가 Fortune 500대 기업을 비롯한 대기업으로 확대되고 있습니다.

이 공개 모델 라이브러리는 비용을 억제하고 투명한 데이터 세트를 사용하며 전문 모델에 액세스할 수 있는 기능을 제공하므로 커뮤니티에서 그 평가가 높습니다. 단, 오픈 소스 모델은 누구나 자유롭게 사용할 수 있지만 프로덕션 단계로 넘어가기가 어려워 잠재력이 약해졌습니다. 숙련된 기계 학습(ML) 엔지니어의 경우에도 그래픽 처리 장치(GPU), 백엔드 및 배포와 관련한 여러 복잡한 결정을 수반하는 이 프로세스에 최소 1주일의 작업 시간이 소요됩니다.

모든 사람이 AI를 사용할 수 있도록 한다는 사명을 표방하는 선도적인 오픈 소스 플랫폼인 Hugging Face가 이러한 장벽을 허물고 있습니다. Hugging Face의 제품 책임자인 Jeff Boudier는 “우리의 목표는 전 세계 모든 회사가 자체 AI를 구축할 수 있도록 하는 것”이라고 말합니다. 최근 Hugging Face Generative AI Services(HUGS라고도 함)를 출시한 이 회사는 풀 프로덕션 오픈 모델을 배포하는 과정에서 발생하는 시간이 많이 걸리고 까다로운 작업의 문제를 해결하고 있습니다.

Hugging Face 일러스트

별도의 구성 없이 바로 사용할 수 있는 개방형 모델

Hugging Face가 처음 시작했을 때 가장 큰 비전은 Boudier가 말했듯이 “누구나 기계 학습 모델을 사용하여 재미있는 대화를 나눌 수 있도록 하는 것”이었습니다. 2016년 당시에는 이것이 과감한 목표였을지 모르지만, 오늘날 이 회사는 개인과 기업 모두가 첨단 기술을 활용할 수 있도록 함으로써 그 비전을 실현하고 있습니다.

이전에는 기업에서 폐쇄형 모델을 사용하여 개념 증명(POC)을 구축해 왔습니다. 폐쇄형 모델이 최선의 선택이기 때문이 아니라 가장 빠르고 쉬운 방법이었기 때문입니다. 개방형 모델을 사용하여 AI 애플리케이션을 개발하려면 일반적으로 엔지니어가 구성부터 컴파일까지 모든 것을 결정해야 하기 때문에 많은 시행착오를 거쳐야 합니다. 성능 및 규정 준수 요구 사항을 해결하려면 라이브러리, 버전 및 파라미터를 조정해야 합니다.

HUGS를 통해 조직은 개방형 모델을 사용하여 AI 애플리케이션을 개발하는 데 따른 골칫거리를 피할 수 있습니다. 플러그 앤 플레이 솔루션은 생성형 AI의 이점을 활용하고자 하는 이들에게 획기적인 대안이 되고 있습니다. 별도의 구성이 필요 없으므로, 개방형 모델을 가져와 실행하기만 하면 됩니다. 모델이 GPU 또는 AI 가속기에 맞게 자동으로 최적화되므로 몇 주가 걸리던 작업이 이제는 몇 분만에 완료됩니다.

비용 발생 없이 고성능 실현

Hugging Face는 AI를 대중화하기 위한 여정 내내 AWS와의 협업을 통해, 초기 단계의 스타트업에서 자사 AI 모델을 매달 수백만 명이 사용하는 이 분야의 선두 주자로 성장하도록 지원해 왔습니다. 이러한 모델이 계속 발전하고 그 이점을 추구하는 기업이 늘어남에 따라, HUGS는 수작업으로 벤치마킹하여 엄선한 최고 성능의 최신 개방형 대규모 언어 모델(LLM) 컬렉션을 제공하고 있습니다.

Hugging Face가 최근에 Amazon Web Services(AWS)와의 협력하면서, 기업이 더 이상 비용, 성능 및 배포 속도 사이에서 절충할 필요가 없게 되었습니다. 이제 AWS Inferentia2 AI 칩에서 이 솔루션을 사용할 수 있으므로, 개발자는 모델의 성능을 더욱 최적화하여 지연 시간을 줄이고 처리량을 높이는 동시에 추론 비용을 최대 40% 절감할 수 있게 되었습니다. 모든 규모의 기업이 생성형 AI 애플리케이션에 더 쉽게 접근할 수 있도록 하는 방법은 이 뿐만이 아닙니다. 오픈 소스 Optimum Neuron 라이브러리에 대한 협업 덕분에, 기업은 오버헤드를 최소화하면서 HUGS의 이점을 얻을 수 있게 되었습니다.

상업적 영향력 강화

Hugging Face의 모델은 가상 어시스턴트 구축부터 몇 초 만에 매력적인 콘텐츠 제작하는 것에 이르기까지 다양한 사용 사례를 다룹니다. Boudier는 이러한 모델이 학술 벤치마크에 비해 성능이 우수하지만 맞춤화를 통해 더 큰 가치를 얻을 수 있다고 말합니다. “사용 사례마다 중요한 사항이 다릅니다. 미세 조정 및 강화 학습을 통해 개방형 모델을 개선하고 폐쇄형 모델보다 훨씬 더 나은 모델을 만들 수 있습니다.”

Amazon SageMaker에서 AWS Inferentia2를 사용하면 Hugging Face 모델을 사용자 지정하여 특정 작업의 모델 품질을 개선하고 대규모 프로덕션 워크로드를 지원할 수 있습니다. 또한 이 솔루션을 사용하면 개발자가 프롬프트 엔지니어링, 검색 증강 생성(RAG) 등을 비롯한 다양한 기법을 사용하여 모델을 개선할 경우에 즉각적인 효과를 쉽게 얻을 수 있습니다.

Thomson Reuters와 같은 대기업은 이미 AWS에서 개방형 모델을 효과적으로 안전하게 확장하고 있습니다. 이제 HUGS와 AWS Inferentia2를 통해, 생성형 AI 애플리케이션을 리스크 없이 신속하게 구축할 수 있는 최적화된 하드웨어를 확보하고, 결과적으로 가치를 더 빠르게 실션할 수 있습니다. AWS Marketplace에서 구매할 수 있으며, 원활한 AWS 인프라 통합을 통해 개발자가 원하는 조건에 따라 개방형 모델을 쉽게 찾고, 구독하고, 배포할 수 있습니다.

Hugging Face는 누구나 사용할 수 있는 개방형 모델을 만드는 방향으로 발전해나감에 따라, HUGS를 통해 사용할 수 있는 LLM을 확장하여 고객의 애플리케이션에 꾸준히 최신 기술을 적용하고 있습니다. 더 많은 오픈 소스 옵션을 제공하고 사용을 단순화한 덕분에, 이제 기업이 개방형 모델과 폐쇄형 모델 중에서 자유롭게 선택할 수 있게 되었습니다.