Llama 3.3 70B ya está disponible en AWS a través de Amazon SageMaker JumpStart

Publicado en: 26 de dic de 2024

Los clientes de AWS ahora pueden acceder al modelo Llama 3.3 70B desde Meta a través de Amazon SageMaker JumpStart. El modelo Llama 3.3 70B equilibra el alto rendimiento con la eficiencia computacional. También ofrece una calidad de salida comparable a la de las versiones de mayor tamaño de Llama y, al mismo tiempo, requiere muchos menos recursos, lo que lo convierte en una excelente opción para implementaciones de IA rentables.

El modelo Llama 3.3 70B cuenta con un mecanismo de atención mejorado que reduce sustancialmente los costos de inferencia. El modelo, que se basó en aproximadamente 15 billones de tokens, incluido contenido de origen web y ejemplos sintéticos, se sometió a un exhaustivo ajuste supervisado y a un aprendizaje reforzado a partir de la retroalimentación humana (RLHF). Este enfoque alinea los resultados más estrechamente con las preferencias humanas, al tiempo que mantiene altos estándares de rendimiento. Según Meta, este aumento de la eficiencia se traduce en operaciones de inferencia casi cinco veces más rentables, lo que la convierte en una opción atractiva para las implementaciones de producción.

Los clientes pueden implementar el modelo Llama 3.3 70B a través de la interfaz de usuario de SageMaker JumpStart o mediante programación a través de SageMaker Python SDK. Las capacidades de inferencia avanzadas de SageMaker AI ayudan a optimizar tanto el rendimiento como la rentabilidad de sus implementaciones. Esto le permite aprovechar al máximo la eficiencia inherente de Llama 3.3 70B y, al mismo tiempo, beneficiarse de un proceso de implementación optimizado.

El modelo Llama 3.3 70B está disponible en todas las regiones de AWS en las que está disponible Amazon SageMaker AI. Para obtener más información sobre la implementación de Llama 3.3 70B en Amazon SageMaker JumpStart, consulte la documentación o lea el blog.