Otimizando os custos e o desempenho da IA generativa usando o Amazon SageMaker com a Forethought Technologies

O conjunto de soluções de atendimento ao cliente da Forethought tem a tecnologia de IA generativa, um tipo de IA que pode criar novos conteúdos e ideias, incluindo conversas, histórias, imagens, vídeos e músicas. No centro do produto da Forethought está a tecnologia SupportGPT, que usa grandes modelos de linguagem e sistemas de recuperação de informações para impulsionar mais de 30 milhões de interações com clientes a cada ano. Por meio da automação, a empresa reduz a carga sobre as equipes de suporte ao cliente ao ajudar os usuários com IA conversacional. Muitos clientes da Forethought usam seu produto durante períodos movimentados, como feriados ou temporada fiscal, para lidar com mais problemas com menos atendentes de suporte ao cliente. A Forethought oferece modelos de ML hiperpersonalizados para seus clientes, geralmente treinando vários modelos por cliente para atender a casos de uso individuais.

A Forethought foi fundada em 2017 nos Estados Unidos e inicialmente usou vários provedores de nuvem para hospedar seus produtos, usando o Amazon SageMaker para treinar modelos de ML. Nos primeiros dois anos, a empresa criou uma solução para sua inferência de ML usando o Amazon Elastic Kubernetes Service (Amazon EKS), um serviço gerenciado do Kubernetes para executar o Kubernetes na Nuvem AWS e no local. À medida que a empresa continuava a crescer e conquistar novos clientes, ela queria melhorar a disponibilidade de sua solução e reduzir custos.

Para atender às suas necessidades de escalabilidade, disponibilidade e otimização de custos, a Forethought optou por migrar sua inferência de ML para o Amazon SageMaker, e a empresa começou a usar recursos adicionais do Amazon SageMaker para melhorar seus produtos. Nesse processo, a Forethought arquitetou seu pipeline para se beneficiar das melhorias de latência e disponibilidade que poderia obter usando o Amazon SageMaker. “Desde a equipe do Amazon SageMaker e em todos os setores, para qualquer coisa que precisarmos, eles nos conectam com as pessoas certas para que possamos ter sucesso usando a AWS”, diz Jad Chamoun, diretor de engenharia central da Forethought.

A Forethought migrou sua inferência de ML do Amazon EKS para os endpoints multimodelos do Amazon SageMaker Model Deployment, uma solução escalável e econômica para a implantação de um grande número de modelos. Um exemplo desse recurso em ação na solução da Forethought é o preenchimento automático das próximas palavras em uma frase quando um usuário está digitando. A empresa usa endpoints multimodelos do Amazon SageMaker para executar vários modelos de ML em um único endpoint de inferência. Isso melhora a escalabilidade e a eficiência dos recursos de hardware, como GPUs. A empresa também reduziu os custos usando endpoints multimodelos do Amazon SageMaker. “Ao usar o Amazon SageMaker, podemos oferecer suporte aos clientes com um custo menor por cliente”, diz Chamoun. “Ao migrar para endpoints multimodelos do Amazon SageMaker, reduzimos nossos custos em até 66%, ao mesmo tempo em que proporcionamos melhor latência e melhores tempos de resposta para os clientes.”

A Forethought também usa a Inferência Sem Servidor do Amazon SageMaker, uma opção de inferência criada especificamente para implantar e escalar modelos de ML sem configurar ou gerenciar nenhuma infraestrutura subjacente. O uso da Inferência Sem Servidor do Amazon SageMaker pela Forethought gira em torno de pequenos modelos e classificadores que são ajustados para cada caso de uso do cliente, como determinar automaticamente a prioridade de um tíquete de suporte. Ao migrar alguns de seus classificadores para a Inferência Sem Servidor do Amazon SageMaker, a Forethought economizou cerca de 80% nos custos relacionados à nuvem.

A equipe de infraestrutura de nuvem da Forethought é composta por três pessoas. Executar e gerenciar todos os modelos de ML e clusters Kubernetes era uma sobrecarga muito grande para a pequena equipe. Usando o Amazon SageMaker, a empresa pode escalar o quanto quiser com as pessoas que tem. “Executamos várias instâncias nos endpoints multimodelos do Amazon SageMaker”, diz Chamoun. “Somos capazes de compartilhar recursos com mais eficiência e, ao mesmo tempo, oferecer uma disponibilidade melhor do que oferecíamos no passado.”

Usando o Amazon SageMaker, a equipe do Forethought não precisa mais se preocupar com exceções ou disponibilidade de memória, problemas nos quais, de outra forma, os três engenheiros teriam passado um tempo considerável trabalhando. Como a empresa configurou os pipelines automatizados para modelos de linguagem usando o Amazon SageMaker, as equipes da Forethought e seus clientes podem interagir com os dados que desejam treinar e enviá-los. “Não ter que nos envolver enquanto as coisas estão sendo treinadas, implantadas e escaladas foi fundamental para trabalharmos em outras coisas que são mais importantes para a empresa”, diz Chamoun. A Forethought agora executa mais de 80% de sua inferência de GPU no Amazon SageMaker entre endpoints multimodelos do Amazon SageMaker e da Inferência Sem Servidor do Amazon SageMaker.