Artificial Agency promove uma experiência de jogo com IA sempre ativa com a AWS e o Llama

A Artificial Agency desenvolve um mecanismo de comportamento que possibilita a IA agêntica em jogos. O mecanismo dá vida a personagens e sistemas inteligentes, capazes de interpretar as intenções dos jogadores e responder de forma natural ao longo de longas sessões de jogo. Para implementar isso em grande escala, é necessária uma IA capaz de funcionar em tempo real, atendendo a milhões de jogadores simultâneos. Para atingir esse objetivo, a Artificial Agency está trabalhando com modelos Meta Llama e a Amazon Web Services (AWS) para ajustar modelos pequenos e específicos para jogos, que oferecem uma performance sólida com uma fração do tamanho dos modelos maiores. Essa abordagem reduz as exigências de infraestrutura, diminui a latência e abre novas possibilidades criativas para os estúdios de jogos.

Incorporando inteligência ao mundo dos jogos

A maioria dos personagens de jogos segue um caminho pré-definido. Eles têm roteiros, árvores de comportamento e caminhos de decisão finitos, cuidadosamente projetados para lidar com o que os jogadores possam fazer, mas apenas com o que os desenvolvedores anteciparam. O que eles não conseguem fazer é improvisar, adaptar-se ou responder genuinamente às intenções do jogador em tempo real. Essa lacuna é o que a Artificial Agency foi criada para preencher. A empresa desenvolve um mecanismo de comportamento que traz a IA agêntica para os jogos, onde ela dá vida a NPCs inteligentes, companheiros e sistemas dinâmicos.

“Com os sistemas tradicionais, você fica limitado a interações programadas ou comportamentos predefinidos”, diz Alex Kearney, cofundador e diretor de machine learning da Artificial Agency. “O que estamos possibilitando é algo mais dinâmico — agentes que conseguem entender o que o jogador quer dizer, não apenas o que ele diz, e agem de uma forma que parece intencional.” Um sistema de direção de jogo pode criar novos encontros na hora, com base no comportamento do jogador. Se um jogador pedir um lápis, um personagem pode caminhar até uma mesa, pegar um e trazê-lo de volta. Um companheiro pode perceber que a integridade do jogador está diminuindo e intervir sem que seja solicitado.

O sistema conta com ferramentas integradas ao motor de jogo que se conectam diretamente ao Unity, ao Unreal e a outros motores de jogos, além de uma plataforma em nuvem que gerencia o estado dos agentes, a memória e a forma como a compreensão de um personagem evolui ao longo do tempo. O objetivo, explica Kearney, é simples: “Os estúdios de jogos querem incorporar a IA à jogabilidade de uma forma que pareça natural para os jogadores, mas não querem se tornar especialistas em machine learning para fazer isso. O que estamos construindo é uma maneira de os desenvolvedores criarem personagens e sistemas inteligentes sem precisarem gerenciar toda essa complexidade por conta própria.”

Implementar isso em um jogo ao vivo, no entanto, apresenta desafios diferentes dos encontrados em outras aplicações de IA. Os jogos exigem performance em tempo real durante longas sessões de jogo, limites rigorosos de latência e uma infraestrutura capaz de suportar milhões de jogadores simultâneos em um hardware que já está operando no limite de sua capacidade.

De modelos pioneiros à IA específica para jogos

A abordagem da Artificial Agency parte de modelos de grande escala e utiliza dados específicos de cada jogo para treinar modelos menores e especializados, adaptados às necessidades de cada jogo. “Modelos grandes podem fazer coisas impressionantes, mas vêm com limitações. Se você quer que a IA esteja sempre ativa em um jogo, precisa de algo menor, mais eficiente e adaptado a esse ambiente.” Um modelo com 70 bilhões de parâmetros conhece história antiga, astrofísica e sabe como fazer um bolo. Qualquer jogo pode precisar de parte disso, mas não de tudo, e não com o custo de recursos que isso acarreta. É por isso que a Artificial Agency está trabalhando para ajustar os modelos Llama nas variantes de 1B, 3B e 8B em relação a uma linha de base de performance de 70B. Esses modelos de código aberto oferecem personalização, estabilidade a longo prazo e algo que importa profundamente no trabalho criativo: propriedade. Um modelo construído de acordo com a visão artística de um estúdio permanece assim, sem atualizações inesperadas ou desvios de modelo que alteram silenciosamente o comportamento dos personagens ao longo do tempo.

Nas fases iniciais desse treinamento, a Artificial Agency seguiu um processo em etapas. O ajuste fino supervisionado (SFT) veio primeiro, melhorando drasticamente a confiabilidade do modelo base. A aprendizagem por reforço utilizando GRPO (Group Relative Policy Optimization) focou então em desafios comportamentais imediatos, como o repetição em loop. Os modelos ocasionalmente se repetiam, ficavam presos em padrões e não conseguiam levar as narrativas adiante. Em jogabilidade emergente com barreiras de proteção mais flexíveis, isso quebra rapidamente a imersão. Conjuntos de dados adicionais simularam cenários desafiadores, e um conjunto de testes de avaliação com propósito específico mediu o comportamento em contextos de jogos

realistas. “Depois de fazer o ajuste fino”, diz Dhruv Mullick, engenheiro sênior de machine learning da Artificial Agency, “conseguimos melhorar significativamente a confiabilidade e levar o modelo a um ponto em que ele pudesse ser executado no sistema do jogo”.

A AWS tem sido um parceiro fundamental ao longo de todo o processo. A Artificial Agency utiliza o Amazon SageMaker na infraestrutura do Amazon Elastic Compute Cloud (Amazon EC2) para treinar, avaliar e iterar em grande escala. A equipe também está trabalhando com o Centro de Inovação em IA Generativa da AWS (GenAIIC), que oferece suporte consultivo e orientação para provas de conceito, incluindo estratégias de treinamento, configurações de modelos e abordagens de treinamento em grande escala. As equipes da AWS trabalham diretamente ao lado da Artificial Agency para refinar funções de recompensa, depurar problemas e acelerar a iteração. “A AWS tem sido uma parceira forte, ajudando-nos a iterar ao longo desse processo”, diz Kearney, “testando diferentes abordagens de treinamento, refinando a forma como avaliamos o comportamento e superando os desafios de fazer com que esses modelos funcionem em um ambiente de jogo”. A equipe da AWS também implementou arquiteturas de treinamento distribuídas, incluindo paralelismo de sequências para lidar com contextos de entrada longos, juntamente com uma configuração com várias GPUs tanto para treinamento quanto para inferência.

Provar que menor pode ser mais inteligente

Os primeiros resultados mostraram um progresso significativo nas métricas mais importantes no contexto dos jogos. Em uma prova de conceito, o ajuste fino supervisionado reduziu as taxas de erros de análise de aproximadamente 78,7% para cerca de 1%. As taxas de sucesso em cenários-chave de jogabilidade aumentaram de cerca de 6% para aproximadamente 51%, e os comportamentos de loop foram reduzidos pela metade. Como Mullick enfatiza, esses números só são significativos por causa do que representam: “Não estamos apenas medindo benchmarks abstratos. Estamos avaliando como o modelo se comporta em cenários reais de jogabilidade. Isso inclui aspectos como se ele evita repetições, se consegue se adaptar à jogabilidade emergente impulsionada pelos jogadores e se mantém a coerência ao longo do tempo.”

Testes internos também mostraram que os modelos menores e otimizados se aproximaram substancialmente da linha de base de 70 bilhões de parâmetros em termos de performance específica para jogos. Em outras palavras, um modelo de 1 bilhão de parâmetros — embora 70 vezes menor — está começando a ter uma performance semelhante à de um modelo que o supera em muito quando treinado com os dados certos para o contexto adequado. Modelos menores significam menores exigências de infraestrutura, menor latência e a capacidade de realizar a implantação de IA em mais partes de um jogo sem que o custo se torne uma restrição criativa. Além disso, diz Kearney, “um modelo com um bilhão de parâmetros pode ser executado em hardware de consumo. Essa é uma mudança significativa, porque significa que você não depende mais de infraestrutura em grande escala para cada interação.” A inferência no dispositivo muda o que é possível em termos arquitetônicos, econômicos e criativos de maneiras que simplesmente não estão disponíveis quando um modelo grande é a única opção.

O trabalho ainda está em andamento: o treinamento final do modelo e os testes de jogabilidade qualitativos, incluindo testes ao vivo com jogadores reais para comparar o modelo aperfeiçoado com a linha de base de 70 bilhões, ainda estão por vir. “Ainda estamos refinando os modelos e continuamos avaliando a performance”, diz Kearney, “mas os primeiros sinais são animadores. Estamos vendo progresso no sentido de tornar viável em grande escala uma jogabilidade em tempo real impulsionada por IA.” A próxima geração de personagens de jogos não vai apenas saber suas falas. Eles vão entender a cena.

Pronto para treinar e implantar modelos em grande escala? Saiba como o Amazon SageMaker e o Amazon EC2 podem ajudar você a criar, iterar e executar cargas de trabalho de IA até mesmo nos ambientes em tempo real mais exigentes.