O blog da AWS

Apresentação da solução de análise de conteúdo da AWS

Por Ian Downard, Engenheiro Técnico de Marketing AWS

 

 

O  Solução de análise de conteúdo da AWS   é um mecanismo de busca de vídeo baseado em conteúdo totalmente automatizado. Ele quantifica o conteúdo de vídeo usando serviços de IA da AWS para análise de visão computacional e fala e cataloga vídeos para que os usuários possam procurar coleções de vídeos de acordo com critérios de pesquisa especificados. Esta solução fornece automação que pode reduzir drasticamente o envolvimento humano necessário para catalogar arquivos de vídeo para pesquisa.

Esta solução também é útil para ver os insights   Serviços de IA da AWS   gerar para o seu próprio conteúdo rapidamente e entender se esses serviços fornecem conhecimento de domínio suficiente para seus casos de uso.

Com a solução AWS Content Analysis, os usuários podem explorar perguntas como:

  • O Amazon Rekognition fornece rótulos para os objetos que estou procurando?
  • O Amazon Transcribe reconhece o discurso em meus vídeos?
  • O Amazon Translate interpreta com precisão a fala transcrita nos meus vídeos?

Essa solução processa vídeos usando os seguintes serviços da AWS:

Antes de carregar vídeos no aplicativo da Web do AWS Content Analysis, os usuários podem selecionar quais serviços de IA da AWS devem ser ativados.

O conjunto inteiro de serviços selecionáveis é mostrado nesta tabela:

 

 

Análise de vídeo

O   Solução de análise de conteúdo da AWS   integra os dados gerados por esses serviços em visualizações interativas que permitem aos usuários ver caixas delimitadoras para objetos selecionados, pesquisar objetos em cronogramas de vídeo, ler transcrições geradas automaticamente, gerar traduções e muito mais.

 

 

A fidelidade dos dados coletados para vídeos usando esta solução facilita a análise detalhada em um nível granular. O seguinte é um gráfico que mostra a quantidade de dados gravados para uma cena de dois minutos em um dos meus filmes favoritos, The Big Lebowski. Este clipe de dois minutos produziu um total de cerca de 18.000 registros de dados — para dar alguma perspectiva sobre a quantidade de dados usados para catalogação de vídeos:

 

 

A solução AWS Content Analysis também pode processar filmes completos. Por exemplo, o filme Amélie, que tem duas horas de duração, produziu um total de 652.000 registros de dados, conforme descrito no gráfico a seguir:

 

 

Pesquisa de vídeo

Os vídeos são indexados e catalogados em uma instância do Amazon Elasticsearch. Tudo o que você vê ao analisar vídeos na GUI é pesquisável usando a linguagem de consulta padrão do Elasticsearch, também conhecida como   Luceno   . Esta seção fornece alguns exemplos de padrões de pesquisa comuns.

 Pesquisa de texto completo

 Texto completo  as consultas permitem pesquisar quaisquer dados no catálogo de vídeos. Por exemplo, o serviço de detecção de celebridades do Amazon Rekognition retornará

nomes de celebridades detectadas em um vídeo. Você pode procurar por uma celebridade simplesmente digitando seu nome, como mostrado nestas capturas de tela:

 

 

 Pesquisar dados de alta confiança

Os rótulos retornados pelo Amazon Rekognition recebem um valor de confiança que indica a certeza de que é preciso. Você pode usar esse valor para filtrar os resultados das pesquisas. Por exemplo,  Violência E Confiança: > 80  irá procurar vídeos contendo violência com um limite de confiança 80% ou superior.

 Pesquisar dados de operadores individuais

As pesquisas consultarão todo o catálogo de metadados no Elasticsearch. Uma pesquisa básica para  Violência  corresponderia a vídeos contendo rótulos de “Violência” da moderação de conteúdo, mas também combinaria vídeos com transcrições que contém a palavra “Violência”. Você pode restringir sua pesquisa a apenas resultados de moderação de conteúdo com nomes de operadores, como este:  Operator:CONTENT_Moderation AND (Nome:Violência E Confiança: >80)  .

Veja a seguir uma lista completa de nomes de operadores que você pode usar para filtrar consultas de pesquisa:

  • label_detection
  • celebrity_detection
  • content_moderation
  • face_detection
  • face_search
  • transcrevem
  • key_phrases
  • entidades

 Pesquisar conceitos relacionados em vários operadores

Como exemplo de uma pesquisa composta que usa vários nomes de operadores, esta consulta que retornará “Violência” identificada pela moderação de conteúdo e “armas” ou “armas” identificadas pela detecção de etiquetas:  (Operador:CONTENT_Moderation AND Nome:Violência E Confiança: >80) OR (Operador:Label_Detection AND (Nome:Gun OR Name:Arma))

 

Leve embora

O   Solução de análise de conteúdo da AWS   agora está disponível em geral. Ele foi projetado para ajudar as organizações que atualmente são desafiadas com a manutenção de grandes coleções de vídeo a aproveitar o poder de busca para recuperação de vídeo. Essa solução também pode ajudar os indivíduos a testar os serviços de IA da AWS com seu próprio conteúdo de vídeo para entender melhor os cenários para os quais esses serviços podem ser aplicados.

Para obter mais informações sobre o AWS Content Analysis,   visite a página da solução   .

 

Este artigo foi traduzido do Blog da AWS em Inglês.

 

Sobre o autor

Ian Downard é Engenheiro Técnico de Marketing da AWS. Ele se concentra na criação de maneiras amigáveis para desenvolvedores de usar os serviços de aprendizado de máquina da AWS para processar multimídia. Ele gosta de se envolver com pessoas em conferências e meetups de tecnologia em Portland, Oregon.