O Llama 3.3 70B já está disponível na AWS por meio do Amazon SageMaker JumpStart

Publicado: 26 de dez de 2024

Agora, os clientes da AWS podem acessar o modelo Llama 3.3 70B da Meta por meio do Amazon SageMaker JumpStart. O modelo Llama 3.3 70B equilibra alta performance com eficiência computacional. Ele também oferece qualidade de saída comparável às versões maiores do Llama com requisitos de recursos consideravelmente menores, o que faz dele uma excelente opção para implantações econômicas de IA.

O Llama 3.3 70B apresenta um mecanismo de atenção aprimorado que reduz substancialmente os custos de inferência. Treinado em aproximadamente 15 trilhões de tokens, incluindo conteúdo originado na web e exemplos sintéticos, o modelo passou por um extenso ajuste fino supervisionado e por um aprendizado por reforço a partir do feedback humano (RLHF). Essa abordagem alinha os resultados mais estreitamente às preferências humanas, mantendo altos padrões de performance. De acordo com a Meta, esse ganho de eficiência se traduz em operações de inferência quase cinco vezes mais econômicas, o que torna o modelo uma opção atraente para implantações de produção.

Os clientes podem implantar o Llama 3.3 70B por meio da interface de usuário do SageMaker JumpStart ou programaticamente usando o SageMaker Python SDK. Os recursos avançados de inferência da IA do SageMaker ajudam a otimizar a performance e a economia das implantações, permitindo que você aproveite ao máximo a eficiência inerente do Llama 3.3 70B e se beneficie de um processo de implantação simplificado.

O modelo Llama 3.3 70B está disponível em todas as regiões da AWS que oferecem a IA do Amazon SageMaker. Para saber mais sobre a implantação do Llama 3.3 70B no Amazon SageMaker JumpStart, consulte a documentação ou leia o blog.