Amazon Bedrock, Anthropic Claude 3.7 Sonnet 하이브리드 추론 모델 정식 출시

Amazon Bedrock은 생성형 AI 분야의 발전에 따라 기반 파운데이션 모델(FM) 지원을 추가하고 있습니다. 오늘 Amazon Bedrock에서 Anthropic의 Claude 3.7 Sonnet 파운데이션 모델이 제공됨을 발표합니다. 현재까지 가장 지능적인 모델인 Claude 3.7 Sonnet는 빠른 응답이나 확장된 사고를 생성할 수 있는 최초의 하이브리드 추론 모델로, 신중한 단계별 추론을 통해 어려운 문제를 해결할 수 있습니다. 또한 오늘 Amazon Q Developer에서 사용하는 모델 목록에 Claude 3.7 Sonnet를 추가합니다. Amazon Q는 Bedrock을 기반으로 구축되었으며, 이를 통해 개발자가 전체 소프트웨어 개발 수명 주기에서 빌드를 가속화할 수 있는 고급 코딩 워크플로를 위해 Claude 3.7 Sonnet와 같은 특정 작업에 가장 적합한 모델을 사용할 수 있습니다.

Claude 3.7 Sonnet의 주요 특징
다음은 Amazon Bedrock에 탑재된 Claude 3.7 Sonnet의 몇 가지 주목할 만한 특징과 기능입니다.

하이브리드 추론을 사용한 최초의 Claude 모델 – Claude 3.7 Sonnet는 모델의 사고 방식에 대해 다른 접근 방식을 취합니다. Claude 3.7 Sonnet는 빠른 답을 위한 모델과 복잡한 문제 해결을 위한 모델을 각각 따로 사용하는 대신 추론을 단일 모델 내의 핵심 기능으로 통합합니다. 이 조합은 인간의 두뇌가 작동하는 방식과 더 비슷합니다. 결국, 우리는 간단한 질문에 답할 때나 어려운 퍼즐을 풀 때나 같은 두뇌를 사용합니다.

모델에는 Amazon Bedrock에서 전환할 수 있는 두 가지 모드(표준 및 확장 사고 모드)가 있습니다. 표준 모드에서 Claude 3.7 Sonnet는 Claude 3.5 Sonnet의 개선된 버전입니다. 확장 사고 모드에서 Claude 3.7 Sonnet는 문제를 자세히 분석하고, 솔루션을 계획하고, 다양한 관점을 고려한 후 응답을 제공하므로 성능이 더욱 향상됩니다. 추론 기능을 언제 사용할지 선택하여 속도와 비용을 제어할 수 있습니다. 확장 사고 토큰은 컨텍스트 창에 포함되며 출력 토큰으로 청구됩니다.

Anthropic의 가장 강력한 코딩 모델인 Claude 3.7 Sonnet는 컨텍스트 이해와 창의적인 문제 해결에 탁월한 최첨단 코딩 모델로, Anthropic에 따르면 SWE-bench Verified에서 표준 모드의 경우 업계 최고 수준인 70.3%를 달성했습니다. 또한 Claude 3.7 Sonnet는 대부분의 벤치마크에서 Claude 3.5 Sonnet보다 성능이 우수합니다. 이러한 향상된 기능 덕분에 Claude 3.7 Sonnet는 AI 에이전트와 복잡한 워크플로를 지원하는 데 이상적입니다.

출처: https://www.anthropic.com/news/claude-3-7-sonnet

이전 모델보다 15배 이상 늘어난 출력 용량 – Claude 3.5 Sonnet와 비교했을 때 이 모델은 출력 길이가 크게 확장되었습니다. 이 향상된 용량은 더 자세한 내용을 명시적으로 요청하거나, 여러 예를 요청하거나, 추가 컨텍스트 또는 배경 정보를 요청할 때 특히 유용합니다. 긴 결과물을 얻으려면 자세한 개요를 요청해 보세요. 사용 사례를 작성할 때는 개요 세부 정보를 단락 수준까지 지정하고 단어 수 목표를 포함할 수 있습니다. 그런 다음 응답자에게 개요에 대한 단락 색인을 생성하고 단어 수를 반복해 달라고 요청합니다. Claude 3.7 Sonnet는 최대 12만 8,000개의 토큰 출력을 지원합니다(정식 버전에서는 최대 6만 4,000개, 베타 버전에서는 최대 12만 8,000개).

조정 가능한 추론 예산 – Amazon Bedrock에서 Claude 3.7 Sonnet를 사용하면 사고에 필요한 예산을 관리할 수 있습니다. 이러한 유연성은 속도, 비용 및 성능 간의 절충점을 평가하는 데 도움이 됩니다. 복잡한 문제에 대한 추론에 더 많은 토큰을 할당하거나 더 빠른 응답을 위해 토큰을 제한함으로써 특정 사용 사례에 맞게 성능을 최적화할 수 있습니다.

Claude 3.7 Sonnet 적용 사례
새 모델의 경우 Amazon Bedrock 콘솔에서 액세스를 요청해야 합니다. 탐색 창의 Bedrock 구성에서 모델 액세스를 선택합니다. 그런 다음 모델 액세스 수정을 선택하여 Claude 3.7 Sonnet에 대한 액세스를 요청합니다.

Claude 3.7 Sonnet를 사용해 보려면 탐색 창의 플레이그라운드에서 채팅/텍스트를 선택합니다. 그런 다음 모델 선택을 선택하고 범주에서 Anthropic을 선택하고 모델에서 Claude 3.7 Sonnet를 선택합니다. 확장 사고 모드를 활성화하기 위해 구성에서 모델 추론을 전환합니다. 다음 프롬프트를 입력하고 실행을 선택합니다.

You're the manager of a small restaurant facing these challenges:

Three staff members called in sick for tonight's dinner service
You're expecting a full house (80 seats)
There's a large party of 20 coming at 7 PM
Your main chef is available but two kitchen helpers are among those who called in sick
You have 2 regular servers and 1 trainee available
How would you:

Reorganize the available staff to handle the situation
Prioritize tasks and service
Determine if you need to make any adjustments to reservations
Handle the large party while maintaining service quality
Minimize negative impact on customer experience
Explain your reasoning for each decision and discuss potential trade-offs

다음은 모델의 추론 과정을 보여주는 애니메이션 이미지가 포함된 결과입니다.

이미지-텍스트 비전 기능을 테스트하기 위해 Amazon Bedrock을 사용하여 만든 자세한 건축 현장 평면도 이미지를 업로드하고, 이에 대한 자세한 분석과 합리적인 인사이트를 받습니다.

Claude 3.7 Sonnet는 Amazon Bedrock API를 사용하여 AWS SDK를 통해서도 액세스할 수 있습니다. Claude 3.7 Sonnet의 특징과 기능에 대해 자세히 알아보려면 Amazon Bedrock의 Anthropic Claude 제품 세부 정보 페이지를 참조하세요.

지금 바로 Claude 3.7 Sonnet 시작하기
Claude 3.7 Sonnet의 향상된 기능은 다양한 산업 사용 사례에 도움이 될 수 있습니다. 기업은 고객과 직접 상호 작용하는 고급 AI 어시스턴트와 에이전트를 만들 수 있습니다. 의료와 같은 분야에서는 의료 영상 분석 및 연구 요약에 도움이 될 수 있으며, 금융 서비스에서는 복잡한 재무 모델링 문제를 해결하는 능력을 활용할 수 있습니다. 개발자에게는 다양한 언어에 걸쳐 코드를 검토하고, 기술적 개념을 설명하고, 개선 사항을 제안할 수 있는 코딩 동반자 역할을 합니다.

Anthropic의 Claude 3.7 Sonnet는 현재 미국 동부(버지니아 북부), 미국 동부(오하이오) 및 미국 서부(오리건) 리전에서 사용할 수 있습니다. 향후 업데이트 여부는 전체 리전 목록을 확인하세요.

Claude 3.7 Sonnet는 가격 경쟁력이 있으며 Claude 3.5 Sonnet의 가격과 동일합니다. 요금 세부 정보는 Amazon Bedrock 요금 페이지를 참조하세요.

Amazon Bedrock에서 Claude 3.7 Sonnet를 시작하려면 Amazon Bedrock 콘솔과 Amazon Bedrock 설명서를 참조하세요.

– Esra