Programe el retiro de productos de Glidewell

Inspiración

Glidewell Laboratories provee una amplia variedad de servicios y productos dentales. Se realizan miles de pedidos diarios provenientes de todas partes de los Estados Unidos y la mayoría de los llamados que recibe el área de atención al cliente son solicitudes de retiro de pedidos de dentistas. Queremos desarrollar un sistema de administración de clientes de última generación que programe automáticamente el retiro de los pedidos de Glidewell.

Qué hace

El proyecto programa automáticamente el retiro de productos dentales de Glidewell mediante el uso del dispositivo AWS DeepLens. Cuando un dentista de un consultorio desea realizar un nuevo pedido y programar el retiro, puede sostener un producto dental de Glidewell y colocarlo frente a una cámara DeepLens. Después de reconocer la identidad del dentista y la información del producto, el sistema realiza el pedido automáticamente, programa el retiro y envía el email de confirmación.

Cómo lo desarrollamos

Conjuntos de datos de imágenes: el conjunto de datos de entrenamiento equilibrado incluye cuatro clases diferentes, que son BruxZir S, BruxZir M, BruxZir L y no BruxZir, cada una de las cuales contiene aproximadamente 500 imágenes.

Herramientas y lenguaje de programación:

  • Python, MXNet
  • AWS: SageMaker, Lambda Function, DeepLens, Amazon Rekognition (reconocimiento facial)
  • Clasificación de productos

Utilizamos el algoritmo de clasificación de imágenes de Amazon SageMaker para entrenar un modelo de clasificación para los productos dentales de Glidewell. Se ajustó la última capa de una red neuronal convolucional con 34 capas y entrenamiento previo (ResNet) para poder incorporar las nuevas reglas de etiquetado. Las imágenes de entrada tienen el mismo tamaño: 3 * 512 * 512. Después de las tareas de entrenamiento y optimización, el modelo toma la transmisión de video de DeepLens y publica los resultados de la clasificación en AWS IoT.

Detección facial y reconocimiento: el proyecto de muestra de DeepLens provee un modelo de detección facial para permitirle al dispositivo AWS DeepLens detectar los rostros de las personas. El modelo toma la transmisión de video de DeepLens como contenido de entrada y publica las imágenes de los rostros que detecta. Posteriormente, el reconocimiento facial de AWS identifica una persona que use el repositorio de imágenes faciales provisto.

Desafíos

  • Flujo de datos entre diferentes aplicaciones
  • Falta de correspondencia del tamaño de imagen entre el conjunto de datos de entrenamiento y la transmisión de video de DeepLens

Logros de los que estamos orgullosos

  • Una nueva idea relacionada con el sistema de administración de clientes y pedidos
  • Favorecer la eficiencia de las operaciones

Lo que aprendimos

  • AWS DeepLens y SageMaker
  • Integración de varios recursos y aplicaciones para crear un proyecto de aprendizaje automático

Pasos siguientes

  • Crear un pedido en el sistema de administración de clientes
  • Programar el retiro de un paquete en el consultorio en función de las preferencias del cliente (por ej., horario, empresa de transporte) en la base de datos
  • Agregar el sistema de notificación mediante textos
  • Preparar más imágenes de entrenamiento
  • Incluir más categorías de productos
  • Crear un modelo de detección de objetos para productos dentales

Desarrollado con

python
aws-sagemaker
rekognition
deeplens/iot
funciones-de-lambda
mxnet
instancia-con-gpu-de-aws
sqs
sns

Probar

El repositorio de este proyecto es privado.