Llama 3.3 70B, Amazon SageMaker JumpStart를 통해 AWS에서 사용 가능
이제 AWS 고객은 Amazon SageMaker JumpStart를 통해 Meta에서 Llama 3.3 70B 모델에 액세스할 수 있습니다. Llama 3.3 70B 모델은 뛰어난 성능과 컴퓨팅 효율성의 균형을 유지합니다. 또한 더 큰 Llama 버전과 비슷한 수준의 출력 품질을 제공하면서도 훨씬 적은 리소스를 필요로 하므로, 비용 효율적인 AI 배포에 매우 적합합니다.
Llama 3.3 70B는 추론 비용을 크게 줄여주는 향상된 어텐션 메커니즘을 제공합니다. 웹 소스 콘텐츠, 합성 예제 등 약 15조 개의 토큰으로 훈련된 이 모델은 광범위한 지도 미세 조정 및 인간 피드백을 통한 강화 학습(RLHF)을 거쳤습니다. 이 접근 방식은 뛰어난 성능 표준을 유지하면서 출력을 인간의 선호도에 더 가깝게 조정합니다. Meta에 따르면 이러한 효율성 향상으로 추론 작업의 비용 효율성이 5배 가까이 높아지므로, 프로덕션 배포에 적합한 옵션이 됩니다.
고객은 SageMaker JumpStart 사용자 인터페이스를 통해 또는 SageMaker Python SDK를 사용하여 프로그래밍 방식으로 Llama 3.3 70B를 배포할 수 있습니다. SageMaker AI의 고급 추론 기능은 배포의 성능과 비용 효율성을 모두 최적화함으로써 Lama 3.3 70B의 고유한 효율성을 최대한 활용하면서 간소화된 배포 프로세스의 이점을 누리도록 해줍니다.
Llama 3.3 70B 모델은 Amazon SageMaker가 제공되는 모든 AWS 리전에서 사용할 수 있습니다. Amazon SageMaker JumpStart에 Llama 3.3 70B를 배포하는 방법에 대해 자세히 알아보려면 설명서를 참조하거나 블로그를 읽어보세요.