Amazon SageMaker JumpStart로 사전 구축된 모델과 기계 학습 솔루션 액세스 단순화

오늘 Amazon SageMaker JumpStart 출시 소식을 발표할 수 있게 되어 무척 기쁩니다. 이는 Amazon SageMaker의 한 기능으로, 클릭 한 번으로 인기 모델 컬렉션(“모델 동물원”으로도 알려진)과 공통적인 사용 사례를 해결하는 전체적 솔루션에 액세스하여 기계 학습 워크플로를 가속화할 수 있습니다.

최근 몇 년 동안, 기계 학습(ML)은 업무 프로세스를 개선하고 자동화하는 데 중요한 기술이라는 것이 입증되었습니다. 실제로 과거 데이터로 훈련한 모델은 금융 서비스, 리테일, 제조, 통신, 생명 공학 등의 다양한 산업 부문에서 결과를 정확히 예측할 수 있습니다. 그러나 이 모델을 사용하려면 과학자나 개발자와 같은 일부 사람들만 가지고 있는 기술과 경험이 필요합니다. 즉, 데이터 세트 준비, 알고리즘 선택, 모델 훈련, 정확도 최적화, 프로덕션 배포, 시간에 따른 성능 모니터링이 이에 해당합니다.

모델 구축 프로세스를 단순화하기 위해 ML 커뮤니티는 모델 동물원, 즉 인기 있는 오픈 소스 라이브러리로 구축하고 주로 참조 데이터 세트로 미리 훈련한 모델의 컬렉션을 만들었습니다. 예를 들어 TensorFlow Hub와 PyTorch Hub는 개발자들이 바로 다운로드할 수 있고 컴퓨터 비전, 자연 언어 처리 등의 애플리케이션에 통합되는 다양한 모델을 제공합니다.

하지만 모델 다운로드로 끝나는 것은 아닙니다. 개발자는 TensorFlow Serving 및 TorchServe 모델 서버 등의 다양한 도구나 자체적인 맞춤 코드를 사용하여 평가와 테스트를 위해 배포해야 합니다. 모델이 실행된 후에는 수신되는 데이터의 올바른 형식을 알아내야 합니다. 이는 개발자의 오랜 골칫거리입니다. 저만 여기서 머리카락을 뽑고 있는 게 아닐 거라고 생각합니다!

물론, 보통의 완전한 ML 애플리케이션은 변동 요소가 많습니다. 데이터를 사전 처리하고, 백엔드에서 가져온 추가 데이터로 보강하고, 모델로 퍼널링해야 합니다. 예측은 주로 사전 처리한 다음 추가 분석과 시각화를 위해 저장합니다. 모델 동물원은 유용하기는 하지만 모델링 부분에만 도움이 됩니다. 완전한 ML 솔루션을 제공하려면 여전히 많은 추가 작업이 남아 있습니다.

이 모든 것으로 인해 ML 전문가에게는 시작되기를 기다리며 오래도록 밀려 있는 프로젝트가 수없이 많습니다. 한편 경험이 부족한 실무자들은 시작에 어려움을 겪습니다. 이러한 장벽은 매우 좌절감을 주고, 고객들은 이 장벽을 없애달라고 요청하기에 이르렀습니다.

Amazon SageMaker JumpStart 소개
Amazon SageMaker JumpStart는 ML을 위한 완전 통합형 개발 환경(IDE)인 Amazon SageMaker Studio에 통합되어 직관적으로 모델, 솔루션 등을 발견할 수 있습니다. SageMaker JumpStart는 출시되면서 다음을 포함합니다.

• 사기 탐지, 예측 유지관리 등과 같은 일반적인 ML 사용 사례를 위한 15개 이상의 전체적 솔루션.
• 컴퓨터 비전(이미지 분류, 객체 탐지) 및 자연 언어 처리(문장 분류, 질문 답변)를 위한 150개 이상의 TensorFlow Hub 및 PyTorch Hub 모델.
• Amazon SageMaker에서 제공되는 내장 알고리즘용 샘플 노트북.

SageMaker JumpStart는 장애물을 제거하고 학습하는 데 도움이 되는 노트북, 블로그, 동영상 자습서를 제공합니다. 콘텐츠는 Amazon SageMaker Studio에서 쉽게 액세스할 수 있으므로 ML을 더욱 빠르게 시작할 수 있습니다.

클릭 한 번만으로 솔루션과 모델을 배포할 수 있습니다. 모든 인프라는 완전관리형이므로 맛있는 차나 커피 한 잔을 즐기는 동안 배포가 완료됩니다. 몇 분 후에는 Amazon SageMaker Studio에서 바로 제공되는 노트북과 샘플 예측 코드의 도움을 받아 테스트를 시작할 수 있습니다. 물론, 손쉽게 코드를 수정하여 자신의 데이터를 사용할 수도 있습니다.

SageMaker JumpStart를 사용하면 경험이 풍부한 실무자나 초보자도 모델과 솔루션을 빠르게 배포하고 평가할 수 있으므로 며칠, 심지어 몇 주 분량의 업무를 단축할 수 있습니다. 실험에서 프로덕션까지의 과정을 극적으로 단축한 SageMaker JumpStart는 ML 기반 혁신을 가속화합니다. 특히, 남들보다 앞서 ML 여정을 시작했지만 많은 기술과 경험이 축적되지 않은 조직과 팀에 큰 도움이 됩니다.

SageMaker JumpStart가 어떻게 작동하는지 알아보겠습니다.

Amazon SageMaker JumpStart로 솔루션 배포
SageMaker Studio를 열고 왼쪽에서 “JumpStart” 아이콘을 선택합니다. 그러면 새 탭이 열리고 모든 사용 가능한 콘텐츠(솔루션, 모델 등)가 표시됩니다.

컴퓨터 비전으로 제조된 제품의 결함을 찾고자 한다면 ML이 해답이 될 수 있을까요?

사용 가능한 솔루션 목록을 둘러보았더니 제품 결함 탐지를 위한 솔루션이 있었습니다.

솔루션을 열면 해결 가능한 문제 유형, 데모에 사용된 샘플 데이터 세트, 사용한 AWS 서비스 등을 알 수 있습니다.

한 번만 클릭하면 솔루션이 배포됩니다. 기본적으로 AWS CloudFormation은 내장 템플릿을 사용하여 모든 적절한 AWS 리소스를 프로비저닝합니다.

몇 분 후에는 솔루션이 배포되고 노트북을 열 수 있게 됩니다.

SageMaker Studio에서 바로 노트북이 열립니다. 데모를 실행하면 ML이 제품 결함 탐지에 어떤 도움이 되는지 알 수 있습니다. 자체 데이터 세트로도 쉽게 실험할 수 있으므로 자신의 프로젝트를 시작하기 위한 좋은 출발점이기도 합니다(아래 이미지를 클릭하면 확대됩니다).

솔루션 사용이 끝나면 클릭 한 번으로 모든 리소스를 삭제하고, 유휴 상태의 AWS 리소스를 남길 걱정 없이 AWS CloudFormation을 정리할 수 있습니다.

이제 모델을 살펴보겠습니다.

Amazon SageMaker JumpStart로 모델 배포
SageMaker JumpStart에는 TensorFlow Hub 및 PyTorch Hub에서 사용할 수 있는 방대한 모델 컬렉션이 들어 있습니다. 이 모델들은 참조 데이터 세트로 미리 훈련되고, 다양한 컴퓨터 비전 및 자연 언어 처리 작업을 바로 처리할 수 있습니다. 또한, 자체 데이터 세트에 맞게 세부적으로 조정하여 정확도를 높일 수 있습니다. 이 기술을 전이 학습이라고 합니다.

여기에서는 질문 답변을 위해 훈련된 BERT 모델 버전을 선택하겠습니다. 그대로 배포하거나 세부적으로 조정이 가능합니다. 복잡해지지 않도록 저는 그대로 배포하는 방법을 택하겠습니다. [배포] 버튼을 클릭합니다.

몇 분 후 완전관리형 인프라에서 실행되는 실시간 엔드포인트에 모델이 배포됩니다.

이제 테스트해 볼 시간입니다! [노트북 열기]를 클릭하면 샘플 노트북이 열리고, 코드를 전혀 바꿀 필요 없이 바로 모델을 테스트할 수 있습니다(다시 말씀드리지만, 아래 이미지를 클릭하면 확대됩니다). 여기에서 두 가지 질문(“남부 캘리포니아에 주로 사용되는 약어는 무엇인가?”, “Spectre의 감독은 누구인가?“)을 입력하고 답을 포함한 약간의 배경 지식을 전달합니다. BERT 모델은 두 질문에 대해 각각 “socal”과 “Sam Mendes”라는 정답을 제공합니다.

테스트가 끝나면 클릭 한 번으로 엔드포인트를 삭제하여 더는 요금을 지불하지 않도록 합니다.

시작하기
앞서 살펴본 것처럼 ML 기술이 거의 없거나 아예 없더라도 SageMaker JumpStart를 사용하면 몇 분 만에 모델과 솔루션을 배포할 수 있습니다.

SageMaker Studio가 제공되는 모든 리전에서 추가 요금 없이 바로 이 기능을 사용할 수 있습니다.

사용해보시고 여러분의 의견을 알려주세요.

언제나 그렇듯이 AWS 지원 담당자 또는 SageMaker의 AWS 포럼을 통해 피드백을 보내주시기 바랍니다.

– Julien

초기 테스트에 귀중한 도움을 주신 동료 Jared Heywood에게 특별한 감사를 전합니다.