Mide el impacto de las recomendaciones personalizadas en los usuarios.
Fig. 9 Contenido archivo atribución de métricas resultado del trabajo de importación.
METRIC_NAME: corresponde al valor de metricName.
EVENT_TYPE: El tipo del evento.
VALUE: Valor del evento.
MATCH_FUNTION: corresponde al valor de expression.
EVENT_ATTRIBUTION_SOURCE: SOURCE_NAME_UNDEFINED, corresponde a eventos generados desde los import Jobs o sin el parámetro eventAttributionSource.
TIMESTAMP: Momento en el cual se generó el evento.
Métricas generadas a través del Event Tracker: cuando se envían las interacciones del usuario son enviadas a Amazon Personalize con la función put_events(). Amazon CloudWatch registra los eventos y los lista en las métricas de Amazon Personalize, visualiza esta métricas:
En el menú de Metric attribution del dataset selecciona Go to your CloudWatch account (Fig. 10)
Fig. 10 Menú métricas de Amazon Personalize.
En el menú de la izquierda CloudWatch selecciona Métricas, luego Todas las métricas y en el buscador escribe AWS/Personalize (Fig. 11)
Fig. 11 Métricas para Amazon Personalize.
Amazon CloudWatch recolecta, sin necesidad de configuración previa, métricas asociadas a los eventos de Amazon Personalize. Puedes ver métricas de hasta dos semanas previas, y también puedes generar alarmas de acuerdo al comportamiento de las métricas. Si deseas saber más te dejo este link.
Para visualizar las métricas configuradas selecciona AWS/Personalize > DatasetGroupArn, EventAttributionSource, y luego selecciona el Nombre de las métricas que creaste (Fig. 12).
Fig. 12 Visualización métricas Amazon CloudWatch.
En la Fig. 12 se observa el comportamiento de los dos escenarios (SIMS y USER-PERSONALIZATION), la cantidad de CLICKS para ambas campañas es parecida, lo que dice que ambas campañas son atractivas a primera vista, pero la cantidad de WATCH (contenido visto o consumido) nos dice que la campaña USER-PERSONALIZATION tiene mayor éxito, mayor CTR Click trough rate = Tasa de clicks.
Con este análisis de datos, se pueden tomar decisiones informadas y dar prioridad a las recomendaciones personalizadas utilizando la campaña USER-PERSONALIZATION. Además, se pueden realizar ajustes y volver a entrenar el modelo de la campaña SIMS para mejorar su efectividad. Es importante seguir monitoreando los datos para retroalimentar y hacer mejoras continuas que aseguren la mejor experiencia para los usuarios.
Prueba tu aplicación web, compártela para generar más métricas y tener más datos que explorar en Amazon CloudWatch.
Paso 7: Exporta las métricas, consúltalas, haz análisis e Inteligencia empresarial (BI) (Opcional).
Si quieres ir más allá exportando las métricas para hacer consultas, análisis y BI con ellas, te cuento brevemente como puedes desbloquear esas habilidades.
Las métricas visualizadas en Amazon CloudWatch se pueden exportar a un bucket de S3 casi en tiempo real creando un flujo para las métricas, acá los pasos para crearlo. Con las métricas en S3 puedes empezar a hacer consultas con Amazon Athena o usar Amazon QuickSight para generar visualizaciones e inteligencia empresarial (Fig. 13).
Fig. 13 Exporta las métricas de Amazon S3, genera tablas en Amazon Athena y visualiza en Amazon QuickSight.
Paso 8: Limpieza de recursos en la cuenta de AWS (Opcional).
Ve a la consola de Amazon Personalize.
Selecciona el Dataset group del proyecto
Ve a Metricts attribution y en Metric attribution overview selecciona Delete.
Conclusiones
Observar cómo cambian las métricas te ayuda a seguir el impacto de las recomendaciones en los usuarios. Si algo no está funcionando como debería, puedes ajustar las campañas y hacer mejoras hasta alcanzar el resultado deseado. Es importante usar la retroalimentación constante para asegurar que las recomendaciones tengan el impacto deseado en los usuarios.
Si seguiste los pasos de la serie no solo fuiste capaz de crear la aplicación web de recomendaciones de anime, también lograste desbloquear varias habilidades técnicas en el camino de su construcción:
Creaste un modelo de recomendaciones personalizadas basado en machine learning,
Creaste un API REST que permite entregar esas recomendaciones de forma segura escalable,
Desplegaste el recomendador personalizado en una aplicación web y le
Integraste a la aplicación web registro con credenciales de usuario y contraseña
En este episodio sumaste análisis al comportamiento de las recomendaciones entregadas a través de métricas en un dashboard.
Te dejo estos recursos para que sigas aprendiendo de las herramientas utilizadas:
Elizabeth Fuentes Leone es Developer Advocate en AWS con experiencia en Data Analytics y Machine Learning. Le encanta ayudar a los desarrolladores a aprender mientras meten las manos construyendo.