Características del etiquetado de datos de Amazon SageMaker

Amazon SageMaker Ground Truth Plus proporciona interfaces de etiquetado, flujos de trabajo de etiquetado y anotadores de datos expertos que crean conjuntos de datos de alta calidad necesarios para personalizar los modelos básicos. Los anotadores de datos pueden realizar una amplia variedad de tareas, como, por ejemplo, escribir preguntas y respuestas, generar texto, resumir texto, volver a redactar texto y proporcionar subtítulos para imágenes y videos para que el modelo pueda aprender de estos ejemplos.

• Pregunta y respuesta: con las preguntas y respuestas, puede preparar conjuntos de datos de demostración que enseñen a su modelo lingüístico a responder a las preguntas.

• Subtítulos de imágenes: con los subtítulos de imágenes, puede preparar conjuntos de datos que describan la escena y los objetos de una imagen con gran detalle para entrenar a los modelos de conversión de texto a imagen para que creen imágenes precisas y creativas en consonancia con su intención. También se puede utilizar para entrenar modelos de conversión de imagen a texto para proporcionar una descripción precisa de la escena de la imagen.
  

• Subtítulos de video: con los subtítulos de video, puede preparar conjuntos de datos que describan las acciones y la escena de un video con detalle para entrenar a los modelos de conversión de texto a video para crear videos precisos y creativos en consonancia con su intención. También se puede utilizar para entrenar modelos de conversión de video a texto para ofrecer una descripción precisa del video.
  

La retroalimentación humana es de vital importancia para garantizar que los LLM generen contenido alineado con las preferencias humanas, es decir, que el contenido sea útil, preciso e inofensivo para que los usuarios realicen sus tareas. Amazon SageMaker Ground Truth Plus permite a los anotadores de datos revisar, categorizar y clasificar las salidas de los modelos y utilizar dichos datos para entrenar a los modelos con el fin de reducir el contenido tóxico, con errores o irrelevante. Por ejemplo, los anotadores pueden clasificar varias respuestas que genere un chatbot y etiquetarlas en función de la precisión de los hechos, la relevancia y la claridad de la redacción.

Amazon SageMaker Ground Truth Plus permite a los clientes utilizar datos específicos de la empresa (como, por ejemplo, documentación y mensajes) o datos específicos del sector para personalizar un modelo básico existente según sus casos prácticos y sus requisitos de calidad.

Los clientes pueden proporcionar una breve descripción de los plazos y los requisitos de etiquetado de datos para personalizar los modelos básicos y Amazon SageMaker Ground Truth Plus configurará automáticamente los flujos de trabajo, las interfaces de etiquetado y un personal altamente cualificado en nombre del cliente. Comience hoy mismo.

Con Amazon SageMaker Ground Truth Plus, el etiquetado lo realiza personal experto formado en tareas de machine learning (ML) que pueden ayudar a cumplir con los objetivos de seguridad y privacidad de los datos y las exigencias de cumplimiento. Por ejemplo, si necesita personas capacitadas en el etiquetado de archivos de audio, puede especificar esta exigencia en las directivas que proporciona a SageMaker Ground Truth Plus y el servicio seleccionará automáticamente etiquetadores que cuenten con esas capacidades.

Con Amazon SageMaker Ground Truth Plus puede crear fácilmente conjuntos de datos de formación de alta calidad sin tener que crear aplicaciones de etiquetado o administrar el personal de etiquetado por su cuenta. Puede cargar datos junto con las exigencias de etiquetado en Amazon S3. Una vez que cargue los datos, SageMaker Ground Truth Plus se encarga de la configuración de los flujos de trabajo del etiquetado de datos y trabaja con ellos.

Amazon SageMaker Ground Truth Plus utiliza técnicas de machine learning (ML), incluido el aprendizaje activo, el preetiquetado y la validación automática, lo cual aumenta la calidad del resultado del conjunto de datos y reduce los costos del etiquetado de datos. Un flujo de trabajo de etiquetado de varios pasos incluye modelos de machine learning (ML) para el aprendizaje activo que permiten a Ground Truth Plus reducir los costos al seleccionar cuáles elementos (puede ser una imagen, una grabación de audio, una sección de un texto, etc.) se van a etiquetar y cuáles modelos de machine learning (ML) van a preetiquetar los datos seleccionados para reducir el esfuerzo humano. Ground Truth Plus utiliza la validación automática para identificar potenciales errores que luego son enviados para pasar por una etapa adicional de revisión humana. Esto mejora significativamente la calidad de las etiquetas al identificar los errores humanos. Además, Ground Truth Plus utiliza características de etiquetado auxiliares como “quiebre automático de cuboides 3D”, “predicción del contenido siguiente en el etiquetado de videos” y “segmentación automática” a través de una interfaz de usuario intuitiva a fin de reducir el tiempo necesario para realizar tareas de etiquetado de datos, al mismo tiempo que mejora la calidad.

SageMaker Ground Truth Plus proporciona paneles interactivos e interfaces de usuario, para monitorear el progreso de los conjuntos de datos de formación en varios proyectos, hacer un seguimiento de las métricas del proyecto, como el rendimiento diario, inspeccionar la calidad de las etiquetas y proporcionar comentarios sobre los datos etiquetados.

Nubes de puntos en 3D | Video | Imágenes | Texto | Flujos de trabajo personalizados | Personal | Generación de datos sintéticos

Las nubes de puntos en tres dimensiones (3D) son capturadas principalmente mediante dispositivos de detección de luz y rango (LIDAR) para generar una visualización 3D de un espacio físico en un punto único en el tiempo. SageMaker Ground Truth incluye flujos de trabajo de etiquetado integrados para sus datos de nube de puntos en 3D que incluyen la detección de objetos, el seguimiento de objetos y la segmentación semántica.

Con el flujo de trabajo de detección de objetos puede identificar y etiquetar objetos de su interés dentro de una nube de puntos en 3D. Por ejemplo, en un caso de uso de un vehículo autónomo, puede etiquetar vehículos, carriles y peatones con precisión.

Con el flujo de trabajo de seguimiento de objetos puede controlar la trayectoria de objetos de su interés. Por ejemplo, un vehículo autónomo necesita controlar el movimiento de otros vehículos, carriles y peatones. Ground Truth permite controlar la trayectoria de estos objetos en una secuencia de datos de nube de puntos en 3D.

Con el flujo de trabajo de segmentación semántica, puede segmentar los puntos de una nube de puntos en 3D en categorías previamente especificadas. Por ejemplo, en el caso de los vehículos autónomos, Ground Truth podría categorizar la presencia de calles, follaje y estructuras.

SageMaker Ground Truth admite casos de uso de etiquetado de video común con flujos de trabajo incorporados, incluidos la detección de objetos de video, el seguimiento de objetos de video y la clasificación de videoclips.

Con el flujo de trabajo de detección de objetos de video, puede identificar objetos de su interés dentro de una secuencia de fotogramas. Por ejemplo, al crear un sistema de percepción para un vehículo autónomo, puede detectar otros vehículos en la escena cercano a este.

Con el flujo de trabajo de seguimiento de objetos de video, puede seguir la trayectoria de objetos de su interés dentro de una secuencia de fotogramas. Por ejemplo, en el caso de uso de un evento deportivo, puede etiquetar a los jugadores mientras dure el juego.

Con el flujo de trabajo de clasificación de videoclip, puede clasificar un archivo de video en categorías especificadas anteriormente. Por ejemplo, puede seleccionar categorías especificadas anteriormente que describan mejor el video, como un evento deportivo o congestión del tráfico en una intersección muy transitada.

SageMaker Ground Truth provee flujos de trabajo de etiquetado integrados para sus datos de imágenes que incluyen la clasificación de imágenes, la detección de objetos y la segmentación semántica.

La clasificación de imágenes consiste en identificar una imagen en función de su representación en el mundo real. El proceso incluye la categorización de imágenes con un conjunto predefinido de etiquetas. La clasificación de imágenes es útil para los modelos de detección de escenas que deben considerar el contexto completo de la imagen. Por ejemplo, podemos crear un modelo de clasificación de imágenes para vehículos autónomos que detecte diferentes objetos reales, como otros vehículos, peatones, semáforos y señales de tránsito.

Puede usar el flujo de trabajo de detección de objetos para identificar y etiquetar objetos de su interés (p. ej., vehículos, peatones, perros, gatos) en imágenes. La tarea de etiquetado consiste en dibujar un cuadro delimitador, un cuadrado de dos dimensiones (2D), alrededor de los objetos de interés dentro de una imagen. Los modelos de visión artificial entrenados a partir de imágenes con cuadros delimitadores etiquetados aprenden que los píxeles ubicados dentro del cuadro corresponden al objeto especificado.

Puede usar el flujo de trabajo de segmentación semántica para etiquetar las partes exactas de una imagen que corresponden a las etiquetas que su modelo necesita aprender. Provee datos de entrenamiento de alta precisión porque los píxeles individuales están etiquetados. Por ejemplo, la forma irregular de un automóvil se puede capturar con exactitud gracias a la segmentación semántica.

SageMaker Ground Truth ofrece flujos de trabajo de etiquetado integrados para los datos de textos, incluida la clasificación de textos y el reconocimiento de entidades nombradas.

La clasificación de textos incluye la categorización de cadenas de texto con un conjunto predefinido de etiquetas. La categorización de textos con diferentes etiquetas se utiliza a menudo para modelos de procesamiento de lenguaje natural (NLP) que identifican cosas como temas (por ej., descripciones de productos, comentarios de películas) u opiniones.

El reconocimiento de entidades nombradas (NER) incluye la filtración de datos de textos para encontrar frases que se denominan entidades nombradas, y la categorización de cada una de ellas con una etiqueta, como “persona”, “organización” o “marca”. Por lo tanto, en la oración “Recientemente me suscribí a Amazon Prime”, “Amazon Prime” sería la entidad nombrada y se podría categorizar como “marca”.

Puede crear un flujo de trabajo de etiquetado propio en Ground Truth. Un flujo de trabajo personalizado tiene tres componentes: (1) una plantilla de interfaz de usuario que ofrece a los responsables del etiquetado todas las instrucciones y herramientas que necesitan para hacer la tarea de etiquetado, (2) cualquier lógica de preprocesamiento encapsulada en una función de AWS Lambda y (3) cualquier lógica de posprocesamiento encapsulada en una función de AWS Lambda. Se encuentra disponible una amplia selección de plantillas de interfaz de usuario y también es posible cargar una plantilla de Javascript o HTML propia. La función de Lambda de preprocesamiento puede proveer los datos que se van a etiquetar y agregar cualquier contexto adicional destinado al responsable del etiquetado y la función de Lambda de posprocesamiento se puede usar para insertar un algoritmo de optimización de la precisión. El algoritmo puede evaluar la calidad de las anotaciones realizadas manualmente o puede encontrar consenso en cuanto a lo que está “bien” cuando los mismos datos se proveen a diferentes responsables de etiquetado. Puede cargar los tres componentes con la consola de SageMaker Ground Truth.

SageMaker Ground Truth admite varias opciones para que un grupo de trabajadores etiqueten datos: (1) empleados propios, (2) proveedores de servicios de etiquetado de datos externos disponibles mediante AWS Marketplace y (3) mano de obra con convocatoria abierta mediante Amazon Mechanical Turk.

Amazon SageMaker Ground Truth admite la generación de datos sintéticos. SageMaker Ground Truth puede generar cientos de miles de imágenes sintéticas etiquetadas, lo que ayuda a mejorar la precisión del etiquetado y a eliminar la necesidad de etiquetar manualmente los datos. En primer lugar, especifique sus requisitos de imagen o proporcione activos 3D e imágenes de referencia, como imágenes de diseño asistido por computación (CAD). Después, los artistas digitales de AWS crean imágenes que imitan la pose y la colocación de los objetos, e incluyen variaciones de objetos o escenas. Además, los artistas digitales de AWS agregan opcionalmente inclusiones específicas para crear imágenes que no suelen incluirse en los conjuntos de datos de formación.