Optimisation des coûts et des performances pour l'IA générative en utilisant Amazon SageMaker et Forethought Technologies

La série de solutions de service client de Forethought est optimisée par l'IA générative, un type d'IA capable de créer du nouveau contenu et de nouvelles idées, notamment des conversations, des histoires, des images, des vidéos et de la musique. Au cœur du produit de Forethought se trouve sa technologie SupportGPT, qui utilise de grands modèles de langage et des systèmes de recherche d'informations pour gérer plus de 30 millions d'interactions avec les clients chaque année. Grâce à l'automatisation, l'entreprise réduit la charge de travail des équipes de support client en aidant les utilisateurs grâce à l'IA conversationnelle. De nombreux clients de Forethought utilisent son produit pendant les périodes de forte activité, telles que les vacances ou la saison des impôts, pour gérer davantage de problèmes en ayant recours à moins d'agents de support client. Forethought propose à ses clients des modèles de ML hyperpersonnalisés, en formant souvent plusieurs modèles par client pour répondre à des cas d'utilisation individuels.

Forethought a été fondée en 2017 aux États-Unis et a initialement fait appel à plusieurs fournisseurs de cloud pour héberger ses produits, en utilisant Amazon SageMaker pour la formation des modèles de ML. Au cours de ses deux premières années, l'entreprise a développé une solution pour son inférence ML à l'aide d'Amazon Elastic Kubernetes Service (Amazon EKS), un service Kubernetes géré permettant d'exécuter Kubernetes sur le cloud AWS et sur site. Alors que l'entreprise poursuivait sa croissance et gagnait de nouveaux clients, elle souhaitait améliorer la disponibilité de sa solution et réduire ses coûts.

Pour répondre à ses besoins en matière d'évolutivité, de disponibilité et d'optimisation des coûts, Forethought a choisi de migrer son inférence ML vers Amazon SageMaker, et l'entreprise a commencé à utiliser les fonctionnalités supplémentaires d'Amazon SageMaker pour améliorer ses produits. Au cours du processus, Forethought a conçu son pipeline pour bénéficier des améliorations de latence et de disponibilité qu'elle pouvait obtenir grâce à Amazon SageMaker. « L'équipe Amazon SageMaker et l'ensemble de l'équipe, pour tout ce dont nous avons besoin, nous mettent en contact avec les bonnes personnes afin que nous puissions utiliser AWS avec succès », explique Jad Chamoun, directeur de l'ingénierie de base chez Forethought.

Forethought a migré son inférence ML d'Amazon EKS vers les points de terminaison multimodèles Amazon SageMaker Model Deployment, une solution évolutive et rentable permettant de déployer un grand nombre de modèles. Un exemple de cette fonctionnalité en action dans la solution de Forethought est la saisie automatique des mots suivants d'une phrase lorsqu'un utilisateur tape. L'entreprise utilise les points de terminaison multimodèles Amazon SageMaker pour exécuter plusieurs modèles de ML sur un seul point de terminaison d'inférence. Cela améliore l'évolutivité et l'efficacité des ressources matérielles telles que les GPU. L'entreprise a également réduit ses coûts en utilisant des points de terminaison multimodèles Amazon SageMaker. « Grâce à Amazon SageMaker, nous pouvons aider les clients à moindre coût », explique Chamoun. « En migrant vers les points de terminaison multimodèles d'Amazon SageMaker, nous avons réduit nos coûts de 66 pour cent tout en offrant une meilleure latence et de meilleurs temps de réponse à nos clients. »

Forethought utilise également l'inférence sans serveur Amazon SageMaker, une option d'inférence spécialement conçue pour déployer et faire évoluer des modèles de ML sans configurer ni gérer l'infrastructure sous-jacente. L'utilisation de l'inférence sans serveur Amazon SageMaker par Forethought repose sur de petits modèles et des classificateurs adaptés au cas d'utilisation de chaque client, tels que la détermination automatique de la priorité d'un ticket d'assistance. En migrant certains de ses classificateurs vers l'inférence sans serveur Amazon SageMaker, Forethought a économisé environ 80 % sur les coûts liés au cloud.

L'équipe chargée de l'infrastructure cloud de Forethought est composée de trois personnes. L'exécution et la gestion de tous les modèles de ML et des clusters Kubernetes étaient trop lourdes pour la petite équipe. Grâce à Amazon SageMaker, l'entreprise peut évoluer autant qu'elle le souhaite en fonction de son personnel. « Nous exécutons plusieurs instances au sein des points de terminaison multimodèles Amazon SageMaker », explique Chamoun. « Nous sommes en mesure de partager les ressources de manière plus efficace tout en garantissant une meilleure disponibilité que par le passé. »

Grâce à Amazon SageMaker, l'équipe de Forethought n'a plus à se soucier des exceptions ou de la disponibilité de la mémoire, problèmes sur lesquels les trois ingénieurs auraient autrement passé un temps considérable à travailler. Étant donné que l'entreprise a mis en place les pipelines automatisés pour les modèles de langage en utilisant Amazon SageMaker, les équipes de Forethought et de ses clients peuvent s'interfacer avec les données qu'ils veulent former et les soumettre. « Le fait de ne pas avoir à s'occuper de la formation, du déploiement et de la mise à l'échelle nous a permis de nous consacrer à d'autres tâches plus importantes pour l'entreprise », explique Chamoun. Forethought exécute désormais plus de 80 % de son inférence GPU sur Amazon SageMaker entre les points de terminaison multimodèles Amazon SageMaker et l'inférence sans serveur Amazon SageMaker.