이제 지연 시간 최적화 모델을 지원하는 Amazon Bedrock Agents, Flows, Knowledge Bases
이제 Amazon Bedrock Agents, Flow 및 Knowledge Bases가 SDK를 통해 최근 발표된 지연 시간 최적화 모델(평가판)을 지원합니다. 이처럼 향상된 모델을 활용하면 Amazon Bedrock 도구를 사용하여 구축한 AI 애플리케이션의 응답 시간을 단축하고 응답성을 높일 수 있습니다. 현재는 Anthropic의 Claude 3.5 Haiku 모델과 Meta의 Llama 3.1 405B 및 70B 모델에서 이러한 최적화 기능을 사용할 수 있습니다. 이러한 모델에서 해당 옵션을 사용하는 경우 정확도는 그대로 유지하면서 표준 모델에 비해 지연 시간을 줄일 수 있습니다.
이번에 업데이트된 모델은 실시간 고객 서비스 챗봇, 대화형 코딩 도우미 등 지연 시간에 민감한 애플리케이션을 개발하는 고객에게 특히 유용합니다. 고객은 AWS Trainium2와 같은 목적별 AI 칩과 Amazon Bedrock의 고급 소프트웨어 최적화 기능을 활용하여 특정 사용 사례에 맞게 추론을 최적화하는 더욱 다양한 옵션에 액세스할 수 있습니다. 그리고 무엇보다도, 추가 설정이나 모델 미세 조정을 수행하지 않고도 이러한 기능을 기존 애플리케이션에 즉시 통합할 수 있으므로 성능을 개선하고 응답 시간을 단축할 수 있습니다.
Amazon Bedrock Agents, Flows, Knowledge Bases용 지연 시간 최적화 추론 지원은 미국 동부(오하이오) 리전에서 교차 리전 추론을 통해 사용 가능합니다. 고객은 런타임 구성을 통해 Amazon Bedrock SDK에서 이러한 새 기능에 액세스할 수 있습니다. 그러면 이처럼 최적화된 모델을 프로그래밍 방식으로 워크플로와 애플리케이션에 통합할 수 있습니다.
이번에 새롭게 제공되는 지연 시간 최적화 추론 지원을 비롯하여 Amazon Bedrock 및 해당 기능에 대해 자세히 알아보려면 Amazon Bedrock 제품 페이지, 요금 페이지 및 설명서를 참조하세요.