Optimización de los costos y el rendimiento de la IA generativa mediante el uso de Amazon SageMaker con Forethought Technologies

El conjunto de soluciones de servicio de atención al cliente de Forethought funciona con IA generativa, un tipo de IA que puede crear nuevos contenidos e ideas, como conversaciones, historias, imágenes, vídeos y música. En el centro del producto de Forethought se encuentra su tecnología SupportGPT, que utiliza modelos de lenguaje de gran tamaño y sistemas de recuperación de información para impulsar más de 30 millones de interacciones con los clientes cada año. Mediante la automatización, la empresa reduce la carga de los equipos de atención al cliente al ayudar a los usuarios con IA conversacional. Muchos de los clientes de Forethought utilizan su producto durante los periodos de mayor actividad, como los días festivos o las campañas fiscales, a fin de gestionar más problemas con menos agentes de atención al cliente. Forethought ofrece modelos de ML hiperpersonalizados para sus clientes y, a menudo, entrena varios modelos por cliente para adaptarse a casos de uso individuales.

Forethought se fundó en 2017 en los Estados Unidos e inicialmente utilizaba varios proveedores de nube para alojar sus productos y Amazon SageMaker para entrenar modelos de ML. En sus primeros 2 años, la empresa creó una solución para su inferencia de ML con Amazon Elastic Kubernetes Service (Amazon EKS), un servicio de Kubernetes administrado para ejecutar Kubernetes en la nube de AWS y en las instalaciones. A medida que la empresa seguía creciendo y ganando nuevos clientes, quería mejorar la disponibilidad de su solución y reducir los costos.

Para satisfacer sus necesidades de escalabilidad, disponibilidad y optimización de costos, Forethought decidió migrar su inferencia de ML a Amazon SageMaker y la empresa comenzó a utilizar características adicionales de Amazon SageMaker para mejorar sus productos. En este proceso, Forethought diseñó su canalización para beneficiarse de las mejoras de latencia y disponibilidad que podía lograr con Amazon SageMaker. “Desde el equipo de Amazon SageMaker y en general, para cualquier cosa que necesitemos, nos ponen en contacto con las personas adecuadas para que podamos utilizar AWS con éxito”, afirma Jad Chamoun, Director of Core Engineering en Forethought.

Forethought migró su inferencia de ML de Amazon EKS a los puntos de conexión multimodelo de Implementación de modelos de Amazon SageMaker, una solución escalable y rentable para implementar grandes cantidades de modelos. Un ejemplo de esta característica en acción en la solución de Forethought es el autocompletado de las palabras siguientes en una oración cuando un usuario escribe. La empresa utiliza los puntos de conexión multimodelo de Amazon SageMaker para ejecutar varios modelos de ML en un único punto de conexión de inferencia. Esto mejora la escalabilidad y la eficiencia de los recursos de hardware, como las GPU. La empresa también redujo los costos mediante el uso de los puntos de conexión multimodelo de Amazon SageMaker. “Con Amazon SageMaker, podemos brindar asistencia a los clientes a un costo menor por cliente”, afirma Chamoun. “Al migrar a los puntos de conexión multimodelo de Amazon SageMaker, redujimos nuestros costos hasta en un 66 por ciento y, al mismo tiempo, proporcionamos una mejor latencia y mejores tiempos de respuesta a los clientes”.

Forethought también usa la inferencia sin servidor de Amazon SageMaker, una opción de inferencia personalizada, para implementar y escalar modelos de ML sin configurar ni administrar ninguna de las infraestructuras subyacentes. El uso de la inferencia sin servidor de Amazon SageMaker por parte de Forethought gira en torno a pequeños modelos y clasificadores que se adaptan perfectamente a cada caso de uso del cliente, como la determinación automática de la prioridad de un ticket de asistencia. Al migrar algunos de sus clasificadores a la inferencia sin servidor de Amazon SageMaker, Forethought ahorró alrededor de un 80 por ciento en los costos de nube relacionados.

El equipo de infraestructura de nube de Forethought está formado por tres personas. Ejecutar y administrar todos los modelos de ML y los clústeres de Kubernetes suponía una sobrecarga de trabajo para un equipo pequeño. Con Amazon SageMaker, la empresa puede escalar tanto como quiera con el personal que tiene. “Ejecutamos varias instancias en los puntos de conexión multimodelo de Amazon SageMaker”, afirma Chamoun. “Podemos compartir los recursos de manera más eficiente y, al mismo tiempo, ofrecer una mejor disponibilidad que en el pasado”.

Con Amazon SageMaker, el equipo de Forethought ya no tiene que preocuparse por las excepciones de memoria o la disponibilidad, problemas a los que los tres ingenieros hubieran tenido que dedicar mucho tiempo. Como la empresa configuró las canalizaciones automatizadas para los modelos de lenguaje con Amazon SageMaker, los equipos de Forethought y sus clientes pueden interactuar con los datos que desean entrenar y enviarlos. “No tener que participar en la formación, la implantación y el escalado fue clave para que pudiéramos trabajar en otros puntos que tienen más impacto para la empresa”, dice Chamoun. Forethought ahora ejecuta más del 80 por ciento de su inferencia de GPU en Amazon SageMaker entre los puntos de conexión multimodelo de Amazon SageMaker y la inferencia sin servidor de Amazon SageMaker.