Amazon Bedrock Model Distillation, 정식 버전으로 제공
Model Distillation은 더 우수한 모델(교사)에서 덜 우수한 모델(학생)로 지식을 이전하는 과정으로, 특정 사용 사례에서 더 빠르고 비용 효율적인 학생 모델이 교사 모델과 동일한 성능을 내도록 하는 것을 목표로 합니다. 정식 버전을 출시하면서 AWS는 새로운 모델인 Amazon Nova Premier(교사) 및 Nova Pro(학생), Claude 3.5 Sonnet v2(교사), Llama 3.3 70B(교사) 및 Llama 3.2 1B/3B(학생)에 대한 지원을 추가했습니다. Amazon Bedrock Model Distillation은 소형 모델이 에이전트 사용 사례에서 함수 호출을 정확하게 예측할 수 있게 지원하며 응답 시간을 크게 단축하고 운영 비용을 절감하는 데 도움이 됩니다. Amazon Bedrock의 증류 모델은 원래 모델보다 최대 500% 더 빠르고 최대 75% 더 저렴하며, RAG와 같은 사용 사례의 경우 정확도 손실은 2% 미만입니다. RAG 사용 사례 외에도 Model Distillation은 함수 호출 예측을 위한 에이전트 사용 사례에서 데이터 증강도 추가로 지원합니다.
Amazon Bedrock Model Distillation은 교사 응답을 생성하는 데 필요한 프로세스를 자동화하고, 교사 응답 개선을 위한 데이터 합성을 추가한 다음, 학생 모델을 훈련하는 단일 워크플로를 제공합니다. Amazon Bedrock Model Distillation은 사용 사례에 가장 적합한 다양한 데이터 합성 방법을 적용하여 특정 사용 사례의 고급 모델과 유사한 성능을 가진 증류 모델을 생성할 수 있습니다.
자세한 내용은 설명서, 웹 사이트, 블로그를 참조하세요.