Amazon Bedrock, Anthropic Claude Sonnet 4 및 OpenAI GPT-OSS 모델에 대한 배치 추론 지원
Anthropic의 Claude Sonnet 4와 OpenAI의 GPT-OSS 120B 및 20B 모델을 Amazon Bedrock에서 배치 추론에 사용할 수 있게 되었습니다. 배치 추론을 사용하면 여러 추론 요청을 비동기적으로 실행할 수 있어, 온디맨드 추론 대비 50%의 요금으로 대규모 데이터세트에서 성능을 향상시킬 수 있습니다. Amazon Bedrock은 배치 추론을 위해 Anthropic, OpenAI, Meta, Amazon 등 주요 AI 제공업체의 엄선된 파운데이션 모델(FM)을 제공하여 대규모 워크로드를 더 쉽고 비용 효율적으로 처리할 수 있게 지원합니다.
Claude Sonnet 4 및 OpenAI GPT-OSS 모델에서 배치 추론을 사용하면 다양한 대규모 데이터세트 처리 시나리오, 즉 문서 및 고객 피드백 분석, 대량 콘텐츠 생성(예: 마케팅 카피, 제품 설명), 대규모 프롬프트 또는 출력 평가, 지식 베이스 및 아카이브의 자동 요약, 고객 지원 티켓 또는 이메일의 대량 분류, 비정형 텍스트에서 정형 데이터 추출 등의 시나리오에서 더 저렴한 비용으로 대규모 작업을 처리할 수 있습니다. 새로운 모델에서 이전 모델보다 전체 배치 처리량을 높이기 위해 배치 서비스를 최적화했습니다. 아울러 Amazon CloudWatch 지표를 통해 AWS 계정 수준에서 배치 워크로드 진행 상황을 추적할 수 있습니다. 모든 모델에 대해 이러한 지표에는 보류 중인 총 레코드 수, 처리된 레코드 수, 분당 토큰 수가 포함되며, Claude 모델의 경우 처리 보류 중인 토큰도 포함됩니다.
Amazon Bedrock의 배치 추론에 대해 자세히 알아보려면 배치 추론 설명서를 살펴보세요. 지원되는 모델에 대한 자세한 내용은 배치 추론 지원 리전 및 모델 페이지를 참조하고, 배치 추론을 시작하려면 Amazon Bedrock API 참조로 이동하세요.