Artificial Agency mejora el juego con IA siempre activa mediante AWS y Llama

Artificial Agency crea un motor de comportamiento que permite el uso de la IA agéntica en videojuegos. El motor genera personajes inteligentes y sistemas que pueden razonar sobre la intención del jugador y responder de forma natural durante largas sesiones de juegos. Para darle vida a escala, se requiere una IA que se pueda ejecutar en tiempo real entre millones de jugadores simultáneos. Para cumplir con ese requisito, Artificial Agency trabaja con modelos de Meta Llama y Amazon Web Services (AWS) para refinar pequeños modelos específicos para juegos que ofrecen un rendimiento sólido con un tamaño muy inferior al de modelos más grandes. Con este método, se reducen las demandas de infraestructura, se disminuye la latencia y se abren nuevas posibilidades para los estudios de videojuegos.

Incorporación de la inteligencia al mundo de los videojuegos

La mayoría de los personajes del juego siguen un camino establecido. Tienen guiones, árboles de comportamiento y rutas de decisión finitas que se han diseñado cuidadosamente para adaptarse a lo que los jugadores podrían hacer, pero solo a lo que los diseñadores esperaban. Lo que no pueden hacer es improvisar, adaptarse o responder de manera genuina a la intención de un jugador en tiempo real. Artificial Agency se creó para cerrar esa brecha. La empresa desarrolla un motor de comportamiento que incorpora la IA agéntica a los videojuegos, donde genera NPC, compañeros y sistemas dinámicos inteligentes.

“Con los sistemas tradicionales, se limita todo a interacciones con guiones o comportamientos predefinidos”, afirma Alex Kearney, cofundador y director de machine learning de Artificial Agency. “Lo que permitimos es algo más dinámico: agentes que pueden entender lo que quiere decir un jugador, no solo lo que dice, y actuar de una manera que parezca intencional”. Un sistema de dirección de juego puede crear nuevos encuentros sobre la marcha en función del comportamiento del jugador. Si un jugador pide un lápiz, es posible que un personaje se acerque a un escritorio, tome uno y lo lleve de vuelta. Es posible que un compañero note que la salud de un jugador disminuye e intervenga sin que se lo diga.

El sistema cuenta con herramientas incorporadas que se integran directamente en Unity, Unreal y otros motores de juego, así como una plataforma en la nube que administra el estado de los agentes, la memoria y la forma en que la comprensión del personaje evoluciona con el tiempo. El objetivo, explica Kearney, es claro: “Los estudios de videojuegos quieren incorporar la IA al juego de una forma que les parezca natural a los jugadores, pero no quieren convertirse en expertos en machine learning para hacerlo. Lo que estamos creando es una forma para que los desarrolladores puedan crear personajes y sistemas inteligentes sin necesidad de administrar por su cuenta toda esa complejidad”.

Sin embargo, ofrecer estas opciones en un juego en directo presenta limitaciones que difieren de las de otras aplicaciones de IA. Los videojuegos requieren un rendimiento en tiempo real durante largas sesiones de juego, unos presupuestos de latencia estrictos y una infraestructura capaz de soportar millones de jugadores simultáneos en un hardware que ya ha llegado a sus límites.

Desde modelos de frontera hasta una IA específica para juegos

El método de Artificial Agency comienza con modelos a escala de frontera y utiliza datos específicos para juegos a fin de entrenar modelos más pequeños y especializados que se adapten a las necesidades de cada videojuego. “Los modelos grandes pueden hacer cosas impresionantes, pero tienen sus limitaciones. Si se quiere que la IA esté siempre presente en un juego, se necesita algo más pequeño, más eficiente y adaptado a ese entorno”. Un modelo de 70 mil millones de parámetros conoce la historia antigua, la astrofísica y cómo hacer un pastel. Cualquier juego puede necesitar algo de eso, pero no todo, y no por el costo de recursos que conlleva. Es por eso que Artificial Agency está trabajando para refinar los modelos de Llama en variantes de 1000 millones, 3000 millones y 8000 millones en comparación con una línea de base de rendimiento de 70 000 millones. Estos modelos de código abierto ofrecen capacidad de personalización, estabilidad a largo plazo y algo que es muy importante en el trabajo creativo: la propiedad. Un modelo creado según la visión artística de un estudio permanece así sin actualizaciones por sorpresa ni deriva de modelos que cambien silenciosamente la forma en que los personajes se comportan con el tiempo.

En las primeras etapas de este entrenamiento, Artificial Agency siguió un proceso por etapas. El refinamiento supervisado (SFT) fue lo primero, lo que mejoró drásticamente la fiabilidad del modelo base. El aprendizaje por refuerzo mediante el uso de la GRPO (optimización de políticas relativas de grupos) se centró luego en problemas de comportamiento predefinidos, como los bucles. De vez en cuando, los modelos se repetían, se atascaban en patrones y no lograban hacer avanzar las narrativas. En un juego emergente con barreras de protección sueltas, eso interrumpe la inmersión rápidamente. Otros conjuntos de datos simulaban escenarios desafiantes, mientras que un conjunto de evaluación personalizado medía el comportamiento en contextos de juego

realistas. “Después del refinamiento”, afirma Dhruv Mullick, ingeniero sénior de machine learning de Artificial Agency, “pudimos mejorar considerablemente la fiabilidad y llevar el modelo a un punto en el que pudiera funcionar dentro del sistema de juego”.

AWS ha sido un socio central en todo momento. Artificial Agency usa Amazon SageMaker en una infraestructura de Amazon Elastic Compute Cloud (Amazon EC2) para entrenar, evaluar e iterar a escala. El equipo también trabaja con el Centro de innovación de IA generativa de AWS (GenAIIC), que proporciona soporte y orientación para la prueba de concepto, lo que incluye estrategias de entrenamiento, configuraciones de modelos y métodos de entrenamiento a gran escala. Los equipos de AWS trabajan directamente con Artificial Agency para refinar las funciones de recompensas, depurar problemas y acelerar la iteración. “AWS ha sido un socio sólido que nos ha ayudado a iterar durante este proceso,” afirma Kearney, “al probar distintos métodos de entrenamiento, refinar cómo evaluamos el comportamiento y superar los desafíos de lograr que estos modelos rindieran en un entorno de juego”. El equipo de AWS también implementó arquitecturas de entrenamiento distribuidas, como el paralelismo de secuencias, para gestionar contextos de entrada largos junto con una configuración con varias GPU para el entrenamiento y la inferencia.

Demostración de que lo más pequeño puede ser más inteligente

Los primeros resultados mostraron un progreso significativo en las métricas más importantes en un contexto de juego. En una prueba de concepto, el refinamiento supervisado redujo las tasas de error de análisis de aproximadamente el 78,7 % a alrededor del 1 %. La tasa de aprobación en los escenarios clave del juego aumentó de aproximadamente un 6 % a alrededor del 51 %, mientras los comportamientos de repetición se redujeron aproximadamente a la mitad. Como recalca Mullick, esas cifras solo son significativas por lo que representan: “No solo medimos puntos de referencia abstractos, sino que evaluamos cómo se comporta el modelo en escenarios de juego reales. Esto incluye aspectos como si se evitan los bucles, si se puede adaptar a una jugabilidad emergente basada en los jugadores y si se mantiene la coherencia a lo largo del tiempo”.

Las pruebas internas también mostraron que los modelos más pequeños refinados se acercaban sustancialmente a la línea de base de 70 000 millones en cuanto al rendimiento específico para juegos. En otras palabras, un modelo de 1000 millones, aunque sea 70 veces más pequeño, comienza a funcionar como uno que lo empequeñece cuando se entrena con los datos correctos para el contexto correcto. Los modelos más pequeños implican una menor demanda de infraestructura, una latencia más baja y la capacidad de implementar la IA en una mayor cantidad de partes del videojuego sin que el costo se convierta en una limitación creativa. Además, afirma Kearney, “un modelo con un nivel de mil millones de parámetros puede ejecutarse en hardware de consumo. Se trata de un cambio significativo, porque significa que ya no se depende de una infraestructura a gran escala para cada interacción”. La inferencia en el dispositivo cambia lo que es posible desde el punto de vista arquitectónico, económico y creativo de formas que simplemente no están disponibles cuando la única opción es un modelo grande.

El trabajo continúa: el entrenamiento del modelo final y las pruebas de juego cualitativas, lo que incluye las pruebas de juego en directo con jugadores reales que comparan el modelo refinado con la línea de base de 70 000 millones, aún están por delante. “Todavía estamos perfeccionando los modelos y evaluando el rendimiento”, afirma Kearney, “pero las primeras señales son alentadoras. Estamos viendo avances en cuanto a hacer que la jugabilidad en tiempo real basada en IA sea viable a escala”. La próxima generación de personajes del juego no solo conocerá sus frases. Entenderá la escena.

¿Lo tiene todo listo para entrenar e implementar modelos a escala? Descubra cómo Amazon SageMaker y Amazon EC2 pueden serle de ayuda para crear, iterar y ejecutar cargas de trabajo de IA incluso para los entornos en tiempo real más exigentes.