NVIDIA Nemotron 3 Nano ya está disponible en Amazon Bedrock
Amazon Bedrock ahora es compatible con el modelo NVIDIA Nemotron 3 Nano 30B A3B, el último avance de NVIDIA en el modelado eficiente de lenguajes que ofrece un alto rendimiento de razonamiento, soporte nativo para llamadas a herramientas y procesamiento de contexto extendido con una ventana de contexto de 256 000 tokens. Este modelo emplea una arquitectura híbrida eficiente de mezcla de expertos (Mixture-of-Experts, MoE) para garantizar un mayor rendimiento que sus predecesores para las cargas de trabajo de codificación y de agencia, al tiempo que mantiene la profundidad de razonamiento de un modelo más grande. Con controles de razonamiento explícitos y una mayor precisión gracias a las técnicas avanzadas de aprendizaje por refuerzo y a la formación posterior en varios entornos a escala, este modelo es ideal para empresas, startups, desarrolladores individuales que crean flujos de trabajo con varios agentes, herramientas de productividad para desarrolladores, automatización de procesos y análisis del razonamiento científico y matemático, entre otros.
NVIDIA Nemotron 3 Nano en Amazon Bedrock funciona con Project Mantle, un nuevo motor de inferencia distribuida para modelos de machine learning a gran escala que funciona en Amazon Bedrock. Project Mantle simplifica y acelera la incorporación de nuevos modelos en Amazon Bedrock, proporciona inferencias sin servidor de gran fiabilidad y alto rendimiento con controles sofisticados de calidad del servicio, permite límites de uso predeterminados más altos con una administración de capacidad automatizada y grupos unificados, además de compatibilidad lista para usar con las especificaciones de la API de OpenAI.
NVIDIA Nemotron 3 Nano ya está disponible en Amazon Bedrock en las siguientes regiones de AWS: Este de EE. UU. (Norte de Virginia), Este de EE. UU. (Ohio), Asia-Pacífico (Tokio), Asia-Pacífico (Mumbai), América del Sur (São Paulo), Europa (Londres) y Europa (Milán). Además, admite puntos de enlace de servicio unificados y compatibles con API OpenAI en Amazon Bedrock. Para obtener más información y comenzar, visite la consola de Amazon Bedrock o la documentación del servicio aquí. Para empezar a utilizar los puntos de enlace de servicio compatibles con la API de OpenAI de Amazon Bedrock, visita la documentación aquí.