Amazon Bedrock Marketplace: 100개 이상의 모델 활용 가능

오늘은 Amazon Bedrock을 통해 100개 이상의 새로 떠오르는 인기 전문 파운데이션 모델(FM)에 액세스할 수 있는 새로운 기능인 Amazon Bedrock Marketplace를 소개합니다. 이번 출시로, 이제 IBM 및 Nvidia와 같은 엔터프라이즈 제공업체의 새로운 모델, Upstage의 한국어 처리를 위한 Solar Pro, Evolutionary Scale의 단백질 연구를 위한 ESM3와 같은 전문 모델, Anthropic 및 Meta와 같은 제공업체의 Amazon Bedrock 범용 FM을 검색, 테스트 및 배포할 수 있습니다.

Amazon Bedrock Marketplace와 함께 배포된 모델은 서버리스 모델과 동일한 표준 API를 통해 액세스할 수 있으며, Converse API와 호환되는 모델의 경우 Amazon Bedrock Agents 및 Amazon Bedrock Knowledge Bases와 같은 도구와 함께 사용할 수 있습니다.

생성형 AI가 조직의 업무 방식을 지속적으로 변화시키면서 특정 영역, 언어 또는 작업에 최적화된 특수 모델에 대한 필요성이 증가하고 있습니다. 그러나 이러한 모델을 찾고 평가하는 것은 어렵고 비용이 많이 들 수 있습니다. 다양한 서비스에서 모델을 발견하고, 애플리케이션에서 사용할 수 있도록 추상화를 구축하고, 복잡한 보안 및 거버넌스 계층을 생성해야 합니다. Amazon Bedrock Marketplace는 전문 FM과 범용 FM 모두에 액세스할 수 있는 단일 인터페이스를 제공하여 이러한 문제를 해결합니다.

Amazon Bedrock Marketplace 사용하기
시작하려면 Amazon Bedrock 콘솔에서 탐색 창의 파운데이션 모델 섹션에서 모델 카탈로그를 선택합니다. 여기서는 특정 사용 사례 또는 언어에 도움이 되는 모델을 검색할 수 있습니다. 검색 결과에는 서버리스 모델과 Amazon Bedrock Marketplace에서 사용할 수 있는 모델이 모두 포함됩니다. 제공업체, 양상(예: 텍스트, 이미지 또는 오디오) 또는 작업(예: 분류 또는 텍스트 요약)별로 결과를 필터링할 수 있습니다.

카탈로그에는 상황에 맞는 소형 언어 모델(SLM)을 구축하는 Arcee AI와 다국어 모델을 제공하는 Widn.AI와 같은 조직의 모델이 있습니다.

예를 들어, 저는 IBM Granite 모델에 관심이 있고 IBM 데이터 및 AI에서 모델을 검색합니다.

엔터프라이즈 애플리케이션을 위해 설계된 언어 모델인 Granite 3.0 2B Instruct를 선택합니다. 모델을 선택하면 모델 세부 정보 페이지가 열리며 여기서 모델 하이라이트, 가격, 샘플 API 호출 등의 사용과 같은 모델 제공업체의 추가 정보를 볼 수 있습니다.

이 특정 모델에는 구독이 필요하며 구독 옵션 보기를 선택합니다.

구독 대화 상자에서 요금 및 법적 고지를 검토합니다. 요금 세부 정보에서 제공업체가 설정한 소프트웨어 가격을 볼 수 있습니다. 이 모델의 경우 배포된 인프라 외에 추가 비용이 들지 않습니다. Amazon SageMaker 인프라 비용은 별도로 청구되며 Amazon SageMaker 요금에서 확인할 수 있습니다.

이 모델을 계속 사용하려면 구독을 선택합니다.

구독이 완료되는 데 보통 몇 분 정도 걸리며, 그 후에는 모델을 배포할 수 있습니다. 배포 세부 정보에 대해 기본 설정과 권장 인스턴스 유형을 사용합니다.

선택 사항인 고급 설정을 확장합니다. 여기서는 가상 프라이빗 클라우드(VPC)에 배포하도록 선택하거나 배포에 사용되는 AWS ID 및 액세스 관리(IAM) 서비스 역할을 지정할 수 있습니다. Amazon Bedrock Marketplace에서는 모델 가중치가 저장되어 있는 Amazon Simple Storage Service(Amazon S3) 버킷에 액세스하기 위한 서비스 역할을 자동으로 생성하지만, 기존 역할을 사용하도록 선택할 수도 있습니다.

저는 기본값을 유지하고 배포를 완료합니다.

몇 분 후 배포가 서비스 중이며 탐색 창의 Marketplace 배포 페이지에서 배포를 검토할 수 있습니다.

여기서 엔드포인트를 선택하여 세부 정보를 확인하고 인스턴스 수와 같은 구성을 편집할 수 있습니다. 배포를 테스트하기 위해 플레이그라운드에서 열기를 선택하고 시를 써 달라고 합니다.

배포된 엔드포인트가 나열된 새 마켓플레이스 카테고리를 사용하여 플레이그라운드의 채팅/텍스트 페이지에서 모델을 선택할 수도 있습니다.

마찬가지로 모델 선택을 선택하고 마켓플레이스 모델 엔드포인트를 선택하여 Amazon Bedrock Agents, Amazon Bedrock Knowledge Bases, Amazon Bedrock Prompt Management, Amazon Bedrock Guardrails 및 모델 평가와 같은 기타 도구와 함께 모델을 사용할 수 있습니다.

여기서 사용한 모델은 텍스트를 텍스트로 변환하는 방식이지만 Amazon Bedrock Marketplace를 사용하여 다양한 양식의 모델을 배포할 수 있습니다. 예를 들어, Stability AI Stable Diffusion 3.5 Large를 배포한 후 Amazon Bedrock 이미지 플레이그라운드에서 빠른 테스트를 실행할 수 있습니다.

제가 배포한 모델은 이제 Amazon Bedrock InvokeModel API를 통해 사용할 수 있습니다. 모델을 배포하면 엔드포인트 Amazon 리소스 이름(ARN)을 모델 ID로 사용하는 AWS Command Line Interface(AWS CLI) 및 모든 AWS SDK와 함께 사용할 수 있습니다.

채팅에 맞춰진 텍스트-텍스트 모델의 경우 Amazon Bedrock Converse API도 사용할 수 있습니다. 이 API는 모델 차이를 추상화하고 단일 파라미터 변경으로 모델 전환을 가능하게 합니다.

알아야 할 사항
Amazon Bedrock Marketplace는 다음 AWS 리전에서 사용 가능합니다. 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건), 아시아 태평양(뭄바이), 아시아 태평양(서울), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(도쿄), 캐나다(중부), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(파리), 남아메리카(상파울루).

Amazon Bedrock Marketplace에서는 타사 모델 제공업체에 소프트웨어 요금(이전 예시에서처럼 0이 될 수 있음)을 지불하고 모델 엔드포인트에 대해 선택한 인스턴스 유형 및 수에 따라 호스팅 요금을 지불합니다.

Amazon Bedrock 콘솔의 모델 카탈로그를 사용하여 새 모델을 탐색하고, Amazon Bedrock Marketplace 설명서를 참조하고, Amazon Bedrock용 AWS re:Post에 피드백을 보내주세요. community.aws에서 심층적인 기술 콘텐츠와 함께 빌더 커뮤니티가 Amazon Bedrock을 어떻게 사용하고 있는지 알아볼 수 있습니다.

– Danilo