SageMaker JumpStart ahora ofrece implementaciones optimizadas para modelos fundacionales
SageMaker JumpStart ahora ofrece implementaciones optimizadas, lo que permite que los clientes implementen modelos fundacionales con ajustes preconfigurados adaptados a casos de uso y restricciones de rendimiento específicas. Las implementaciones optimizadas de SageMaker JumpStart simplifican la implementación de modelos al ofrecer configuraciones adaptadas a las tareas que optimizan el costo, el rendimiento o la latencia en función de los requisitos de la carga de trabajo, ya sea la generación de contenido, el resumen o las preguntas y respuestas. Este lanzamiento incluye compatibilidad con más de 30 modelos conocidos de Meta, Microsoft, Mistral AI, Qwen, Google y TII, con visibilidad de métricas de rendimiento clave como la latencia P50, el tiempo hasta el primer token (TTFT) y el rendimiento antes de la implementación.
Con las implementaciones optimizadas de SageMaker JumpStart, los clientes pueden seleccionar entre configuraciones específicas para cada caso de uso (como escritura generativa o interacciones tipo chat) y elegir objetivos de optimización: optimizado para costos, optimizado para el rendimiento, optimizado para latencia o desempeño equilibrado. Los modelos se implementan en los puntos de conexión de la inferencia administrada de SageMaker AI o en los clústeres de SageMaker HyperPod con configuraciones preestablecidas que eliminan las conjeturas y mantienen una visibilidad total de los detalles de la implementación. Los modelos disponibles incluyen las variantes Meta Llama 3.1 y 3.2, los modelos Microsoft Phi-3 y Mistral AI, incluida la nueva Mistral-Small-24B-Instruct-2501, las series Qwen 2 y 3, que incluyen el Qwen2-VL multimodal, Google Gemma y el TII Falcon3. Todas las implementaciones aprovechan las capacidades de implementación de VPC de SageMaker, lo que garantiza el control de los datos y una infraestructura lista para producción con seguridad de nivel empresarial. La característica está disponible en todas las regiones de AWS en las que actualmente se admite SageMaker JumpStart.
Para comenzar con las implementaciones optimizadas, vaya a Modelos en SageMaker Studio, seleccione el modelo fundacional que quiera en la pestaña Modelos de JumpStart, elija “Implementar” y seleccione su caso de uso y su objetivo de optimización de rendimiento. Para obtener más información, consulte la documentación de SageMaker JumpStart. AWS está ampliando activamente el soporte para incluir modelos adicionales.