Amazon Bedrock, 온디맨드 추론 가격의 50%로 배치 추론을 위한 엄선된 FM 제공
작년에는 평가판 모드에서 배치 추론 지원을 도입하여 사용자가 배치로 프롬프트를 처리하고 모델 평가, 실험 및 오프라인 처리에 대한 응답을 얻을 수 있도록 지원했습니다. 오늘부터 Amazon Bedrock은 지원되는 모든 AWS 리전에서 지원 모델에 대해 배치 추론을 정식 버전으로 제공합니다. 배치 추론을 사용하여 여러 추론 요청을 비동기식으로 실행하고, 대규모 데이터세트에서 모델 추론의 성능을 개선할 수 있습니다. Amazon Bedrock은 배치 추론을 위해 Anthropic, Meta, Mistral AI 및 Amazon과 같은 선도적인 AI 제공업체의 엄선된 파운데이션 모델(FM)을 온디맨드 추론 요금의 50%로 제공합니다. 배치 추론의 완료 시간은 작업 규모 등 다양한 요인에 따라 달라지지만, 일반적인 작업의 완료 기간은 24시간 이내로 예상할 수 있습니다. 자세한 내용은 배치 추론 설명서에서 확인할 수 있으며 API 참조 설명서도 참조할 수 있습니다.
Amazon Bedrock은 단일 API를 통해 Amazon뿐만 아니라 AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI와 같은 주요 AI 회사의 고성능 파운데이션 모델(FM)을 선택할 수 있는 완전관리형 서비스입니다. 또한 Amazon Bedrock은 보안, 개인 정보 보호 및 책임 있는 AI가 내장된 생성형 AI 애플리케이션을 구축하는 데 필요한 다양한 기능을 제공합니다. 이러한 기능은 다양한 산업 분야의 여러 사용 사례에 맞는 맞춤형 애플리케이션을 구축하여 조직이 고객의 신뢰와 데이터 거버넌스를 보장하면서 생성형 AI를 통해 지속적인 성장을 이루도록 하는 데 도움이 됩니다.
Amazon Bedrock에 대해 자세히 알아보려면 Amazon Bedrock 페이지로 이동하고 세부 정보는 Amazon Bedrock 설명서를 참조하세요.