Artificial Agency fait progresser le gameplay piloté par une IA toujours active avec AWS et Llama

Artificial Agency développe un moteur comportemental qui rend possible l’IA agentique dans les jeux. Ce moteur alimente des personnages et des systèmes intelligents capables de raisonner sur les intentions des joueurs et de réagir naturellement pendant de longues sessions de jeu. Pour donner vie à cette vision à grande échelle, il faut une IA capable de fonctionner en temps réel pour des millions de joueurs simultanés. Pour atteindre ce niveau d’exigence, Artificial Agency travaille avec des modèles Meta Llama ainsi qu’avec Amazon Web Services (AWS) pour optimiser de petits modèles propres à chaque jeu, qui offrent de solides performances tout en étant nettement plus compacts que les modèles plus volumineux. Cette approche réduit les besoins en infrastructure, diminue la latence et ouvre de nouvelles possibilités créatives aux studios de jeux.

L’intelligence au service des univers de jeu

La plupart des personnages de jeu suivent un parcours prédéfini. Ils reposent sur des scripts, des arbres de comportement et des chemins de décision limités, soigneusement conçus pour gérer ce que les joueurs pourraient faire, mais uniquement ce que les concepteurs ont anticipé. Ce qu’ils ne peuvent pas faire, c’est improviser, s’adapter ou répondre réellement à l’intention d’un joueur en temps réel. C’est cette lacune qu’Artificial Agency entend combler. La société développe un moteur comportemental qui intègre l’IA agentique aux jeux, où elle alimente des PNJ intelligents, des compagnons et des systèmes dynamiques.

« Avec les systèmes traditionnels, vous devez vous limiter à des interactions scénarisées ou à des comportements prédéfinis », explique Alex Kearney, cofondateur et responsable du machine learning chez Artificial Agency. « Ce que nous rendons possible, c’est quelque chose de plus dynamique : des agents capables de comprendre ce qu’un joueur veut dire, pas seulement ce qu’il dit, et d’agir d’une manière qui semble intentionnelle. » Un système de direction de jeu peut créer de nouvelles rencontres à la volée en fonction du comportement du joueur. Si un joueur demande un crayon, un personnage peut aller jusqu’à un bureau, en prendre un et le lui rapporter. Un compagnon peut remarquer que la santé d’un joueur baisse et intervenir de lui-même.

Le système comprend des outils intégrés aux moteurs de jeu et directement compatibles avec Unity, Unreal et d’autres moteurs, ainsi qu’une plateforme cloud qui gère l’état des agents, la mémoire et l’évolution de la compréhension d’un personnage au fil du temps. L’objectif, explique Alex Kearney, est simple : « Les studios de jeux veulent intégrer l’IA au gameplay d’une manière qui semble naturelle aux joueurs, mais ils ne veulent pas devoir devenir des experts du machine learning pour y parvenir. Nous développons un moyen de permettre aux développeurs de créer des personnages et des systèmes intelligents sans avoir à gérer eux-mêmes toute cette complexité. »

Déployer cette technologie dans un jeu en conditions réelles présente toutefois des contraintes différentes de celles d’autres applications d’IA. Les jeux exigent des performances en temps réel pendant de longues sessions, des budgets de latence stricts et une infrastructure capable de prendre en charge des millions de joueurs simultanés sur du matériel déjà poussé à ses limites.

Des modèles frontières à l’IA propre à chaque jeu

L’approche d’Artificial Agency part de modèles à l’échelle frontière et utilise des données propres à chaque jeu pour entraîner des modèles plus petits et spécialisés, adaptés aux besoins de chaque jeu. « Les grands modèles peuvent accomplir des choses impressionnantes, mais ils présentent aussi des contraintes. Pour que l’IA reste active en permanence dans un jeu, il faut quelque chose de plus petit, de plus efficace et d’adapté à cet environnement. » Un modèle à 70 milliards de paramètres connaît l’histoire ancienne, l’astrophysique et la façon de préparer un gâteau. Un jeu donné peut avoir besoin d’une partie de ces connaissances, mais pas de toutes, et pas au prix en ressources que cela implique. C’est pourquoi Artificial Agency travaille à optimiser des modèles Llama dans leurs variantes 1B, 3B et 8B, en les comparant à une référence de performance 70B. Ces modèles open source offrent une grande capacité de personnalisation, une stabilité à long terme et un élément essentiel dans le travail créatif : la maîtrise. Un modèle conçu selon la vision artistique d’un studio reste fidèle à cette vision, sans mises à jour inattendues ni dérive du modèle qui modifie discrètement le comportement des personnages au fil du temps.

Aux premières étapes de cet entraînement, Artificial Agency a suivi un processus progressif. Le peaufinage supervisé (SFT) a constitué la première étape, améliorant nettement la fiabilité du modèle de base. L’apprentissage par renforcement avec GRPO (Group Relative Policy Optimization) a ensuite ciblé des problèmes comportementaux observés d’emblée, comme les comportements en boucle. Les modèles se répétaient parfois, restaient coincés dans des schémas et ne parvenaient pas à faire avancer la narration. Dans un gameplay émergent avec des barrières de protection assouplies, l’immersion se rompt rapidement. Des jeux de données supplémentaires ont simulé des scénarios difficiles, et une suite d’évaluation conçue spécialement à cet effet a mesuré le comportement dans des contextes de jeu

réalistes. « Après le peaufinage », explique Dhruv Mullick, ingénieur principal en machine learning chez Artificial Agency, « nous avons pu améliorer considérablement la fiabilité et porter le modèle à un stade où il pouvait fonctionner au sein du système de jeu. »

AWS a joué un rôle central tout au long du projet. Artificial Agency utilise Amazon SageMaker sur l’infrastructure Amazon Elastic Compute Cloud (Amazon EC2) pour entraîner, évaluer et effectuer des itérations à grande échelle. L’équipe travaille également avec le Centre d’innovation AWS d’IA générative (GenAIIC), qui fournit un accompagnement consultatif et des conseils en matière de preuve de concept, notamment sur les stratégies d’entraînement, les configurations de modèles et les approches d’entraînement à grande échelle. Les équipes AWS travaillent directement aux côtés d’Artificial Agency pour optimiser les fonctions de récompense, corriger les problèmes et accélérer les itérations. « AWS a été un partenaire solide qui nous a aidés à itérer tout au long de ce processus », explique Alex Kearney, « en testant différentes approches d’entraînement, en optimisant notre façon d’évaluer le comportement et en relevant les défis liés aux performances de ces modèles dans un environnement de jeu. » L’équipe AWS a également mis en œuvre des architectures d’entraînement distribué, notamment le parallélisme de séquences pour gérer les longs contextes d’entrée, ainsi qu’une configuration multi-GPU pour l’entraînement et l’inférence.

La preuve qu’un modèle plus petit peut être plus intelligent

Les premiers résultats ont montré des progrès significatifs sur les métriques les plus importantes dans un contexte de jeu. Dans le cadre d’une preuve de concept, le peaufinage supervisé a réduit les taux d’erreurs d’analyse syntaxique, qui sont passés d’environ 78,7 % à environ 1 %. Les taux de réussite dans les principaux scénarios de gameplay sont passés d’environ 6 % à environ 51 %, et les comportements en boucle ont été réduits de moitié environ. Comme le souligne Dhruv Mullick, ces chiffres n’ont de sens qu’en raison de ce qu’ils représentent : « Nous ne nous contentons pas de mesurer des benchmarks abstraits. Nous évaluons le comportement du modèle dans des scénarios de gameplay réels. Il s’agit notamment de vérifier s’il évite les boucles, s’il peut s’adapter à un gameplay émergent piloté par les joueurs et s’il conserve sa cohérence au fil du temps. »

Des tests internes ont également montré que les modèles plus petits optimisés se rapprochaient considérablement de la référence 70B en matière de performances propres aux jeux. En d’autres termes, un modèle 1B, bien que 70 fois plus petit, commence à se comporter comme un modèle pourtant bien plus grand lorsqu’il est entraîné avec les bonnes données, dans le bon contexte. Des modèles plus petits réduisent les besoins en infrastructure et la latence, tout en permettant de déployer l’IA sur davantage d’aspects d’un jeu sans que les coûts brident la créativité. En outre, précise Alex Kearney, « un modèle d’un milliard de paramètres peut fonctionner sur du matériel grand public. C’est une évolution importante, car cela signifie que vous n’êtes plus dépendant d’une infrastructure à grande échelle pour chaque interaction. » L’inférence sur appareil change ce qui est possible sur les plans architectural, économique et créatif, d’une manière tout simplement inaccessible lorsqu’un modèle de grande taille est la seule option.

Le travail se poursuit : l’entraînement final du modèle et les tests de jeu qualitatifs, notamment des playtests avec de vrais joueurs comparant le modèle peaufiné à la référence 70B, restent à venir. « Nous continuons à optimiser les modèles et à évaluer les performances », déclare Alex Kearney, « mais les premiers signaux sont encourageants. Nous observons des progrès vers un gameplay piloté par l’IA en temps réel et viable à grande échelle. » Les personnages de jeu de demain ne se contenteront pas de connaître leurs répliques. Ils comprendront la scène.

Vous souhaitez entraîner et déployer des modèles à grande échelle ? Découvrez comment Amazon SageMaker et Amazon EC2 peuvent vous aider à créer, itérer et exécuter des charges de travail d’IA, même dans les environnements en temps réel les plus exigeants.