Importante: a partir de 30 de agosto de 2023, o Content Analysis on AWS não será mais compatível e o repositório do GitHub será arquivado. As implantações existentes continuarão a ser executadas. Se você implantou o Content Analysis on AWS por clonagem do código-fonte aberto do GitHub, poderá continuar a usar essa solução.
A funcionalidade fornecida pelo Content Analysis on AWS será suplantada por aquelas no Media2Cloud on AWS e Content Localization on AWS. Encorajamos você a explorar essas soluções.
Visão geral
A solução de análise de conteúdo na AWS permite que você faça análises automatizadas de conteúdo de vídeo usando um modelo de aplicação sem servidor para gerar insights significativos por meio de metadados gerados por machine learning (ML). Esta solução fornece acesso a uma variedade de serviços de IA da AWS que podem ser aplicados às suas bibliotecas de mídia e, em seguida, usar insights e metadados para automatizar processos manuais. A solução inclui uma interface de usuário baseada na Web para carregar e pesquisar nas suas bibliotecas de vídeo.
A solução de análise de conteúdo na AWS combina o Amazon Rekognition, Amazon Transcribe, Amazon Translate e Amazon Comprehend para oferecer um conjunto de funcionalidades abrangentes com o objetivo de analisar o conteúdo de vídeo de um cliente. A solução é uma aplicação sob medida baseada no framework de desenvolvimento Media Insights on AWS.
A solução fornece uma única aplicação para aplicar vários serviços de machine learning, facilitando para os clientes as tarefas iniciais de uso desses serviços. A solução também automatiza processos manuais, incluindo geração de metadados, e pesquisa metadados de vários serviços de machine learning em um único local.
Benefícios
Obtenha níveis altamente precisos de detecção de objetos, cenas e atividades, identificação de pessoas e definição de caminhos e reconhecimento de celebridades em vídeos.
Carregue, analise e navegue imediatamente por coleções de vídeos usando uma interface de usuário simples baseada na Web.
O Media Insights fornece uma estrutura que facilita para os desenvolvedores a criação de aplicações que transformam ou analisam vídeos na AWS.
Automatize a geração de metadados e outros processos manuais usando um único aplicativo. Reduza drasticamente o envolvimento humano necessário para catalogar arquivos de vídeo para pesquisa.
Detalhes técnicos
O diagrama abaixo apresenta o fluxo da arquitetura sem servidor que você pode implantar automaticamente usando o guia de implementação da solução e o respectivo modelo do AWS CloudFormation.
Etapa 1
Uma distribuição do Amazon CloudFront para servir a aplicação Web estática Content Analysis.
Etapa 2
Um bucket com origem na Web do Amazon Simple Storage Service (Amazon S3) para hospedar a aplicação Web estática.
Etapa 3
Um grupo de usuários do Amazon Cognito para fornecer um diretório de usuários.
Etapa 4
Um grupo de identidades do Amazon Cognito para fornecer federação com o AWS Identity and Access Management (IAM) para autenticação e autorização na interface de usuário (IU) da Web.
Etapa 5
Uma API REST do Amazon API Gateway para o ambiente de gerenciamento intermediar como proxy os uploads de arquivos e orquestrar operações de fluxo de trabalho da IU da Web para o Amazon S3 e AWS Step Functions. Os perfis do AWS IAM são criadas para a API operar.
Etapa 6
Uma função do processador de API do AWS Lambda para apoiar a API REST do ambiente de gerenciamento.
Etapa 7
Tabelas do Amazon DynamoDB para armazenar parâmetros do sistema, definições de fluxo de trabalho, status de fluxo de trabalho, histórico de execução de fluxo de trabalho e outros dados relacionados ao fluxo de trabalho.
Etapa 7
Um fluxo de trabalho do AWS Glue é ativado diariamente à 1:00 (UTC). O fluxo de trabalho inicia trabalhos do AWS Glue que processam os dados brutos e armazenam os resultados no bucket do Amazon S3 de dados processados. Em seguida, o fluxo de trabalho inicia um crawler do AWS Glue que atualiza o Catálogo de Dados do AWS Glue.
Etapa 8
Recursos do Amazon Simple Queue Service (Amazon SQS) para limitar o número total de fluxos de trabalho executados simultaneamente para um máximo configurável.
Etapa 9
Uma função do Lambda para verificar e registrar o status de execução dos fluxos de trabalho no DynamoDB.
Etapa 10
Dois fluxos de trabalho AWS Step Functions compostos por funções do Lambda que executam tarefas de análise de mídia no Amazon Rekognition, Amazon Transcribe, Amazon Translate, AWS Elemental MediaConvert e Amazon Comprehend. Estas funções do Lambda também interagem com o plano de dados para armazenar e recuperar objetos de mídia e metadados retornados pelas tarefas de análise de mídia.
Etapa 11
Uma API REST do API Gateway para funcionalidade CRUD no plano de dados.
Etapa 12
Uma função do processador de API Lambda para apoiar a API REST do plano de dados.
Etapa 13
Uma tabela do DynamoDB para registrar relacionamentos entre metadados, objetos de mídia e arquivos de mídia especificados pelo usuário.
Etapa 14
Um bucket do Amazon S3 para armazenar arquivos de vídeo carregados, resultados de metadados derivados e objetos de mídia derivados, como miniaturas, arquivos de áudio e arquivos de vídeo transcodificados.
Etapa 15
Recursos do Amazon Kinesis Data Streams para fornecer uma interface para o Amazon OpenSearch Service para acessar metadados de mídia por meio de um fluxo de captura de dados de alteração que reflete operações CRUD na tabela do DynamoDB.
Etapa 16
Uma função do Lambda para extrair, transformar e carregar metadados de mídia da tabela do DynamoDB em um cluster do Amazon OpenSearch Service.
Etapa 17
Um cluster do Amazon OpenSearch Service para indexar metadados de mídia.
Etapa 1
Uma distribuição do Amazon CloudFront para servir a aplicação Web estática Content Analysis.
Etapa 2
Um bucket com origem na Web do Amazon Simple Storage Service (Amazon S3) para hospedar a aplicação Web estática.
Etapa 3
Um grupo de usuários do Amazon Cognito para fornecer um diretório de usuários.
Etapa 4
Um grupo de identidades do Amazon Cognito para fornecer federação com o AWS Identity and Access Management (IAM) para autenticação e autorização na interface de usuário (IU) da Web.
Etapa 5
Uma API REST do Amazon API Gateway para o ambiente de gerenciamento intermediar como proxy os uploads de arquivos e orquestrar operações de fluxo de trabalho da IU da Web para o Amazon S3 e AWS Step Functions. Os perfis do AWS IAM são criadas para a API operar.
Etapa 6
Uma função do processador de API do AWS Lambda para apoiar a API REST do ambiente de gerenciamento.
Etapa 7
Tabelas do Amazon DynamoDB para armazenar parâmetros do sistema, definições de fluxo de trabalho, status de fluxo de trabalho, histórico de execução de fluxo de trabalho e outros dados relacionados ao fluxo de trabalho.
Etapa 7
Um fluxo de trabalho do AWS Glue é ativado diariamente à 1:00 (UTC). O fluxo de trabalho inicia trabalhos do AWS Glue que processam os dados brutos e armazenam os resultados no bucket do Amazon S3 de dados processados. Em seguida, o fluxo de trabalho inicia um crawler do AWS Glue que atualiza o Catálogo de Dados do AWS Glue.
Etapa 8
Recursos do Amazon Simple Queue Service (Amazon SQS) para limitar o número total de fluxos de trabalho executados simultaneamente para um máximo configurável.
Etapa 9
Uma função do Lambda para verificar e registrar o status de execução dos fluxos de trabalho no DynamoDB.
Etapa 10
Dois fluxos de trabalho AWS Step Functions compostos por funções do Lambda que executam tarefas de análise de mídia no Amazon Rekognition, Amazon Transcribe, Amazon Translate, AWS Elemental MediaConvert e Amazon Comprehend. Estas funções do Lambda também interagem com o plano de dados para armazenar e recuperar objetos de mídia e metadados retornados pelas tarefas de análise de mídia.
Etapa 11
Uma API REST do API Gateway para funcionalidade CRUD no plano de dados.
Etapa 12
Uma função do processador de API Lambda para apoiar a API REST do plano de dados.
Etapa 13
Uma tabela do DynamoDB para registrar relacionamentos entre metadados, objetos de mídia e arquivos de mídia especificados pelo usuário.
Etapa 14
Um bucket do Amazon S3 para armazenar arquivos de vídeo carregados, resultados de metadados derivados e objetos de mídia derivados, como miniaturas, arquivos de áudio e arquivos de vídeo transcodificados.
Etapa 15
Recursos do Amazon Kinesis Data Streams para fornecer uma interface para o Amazon OpenSearch Service para acessar metadados de mídia por meio de um fluxo de captura de dados de alteração que reflete operações CRUD na tabela do DynamoDB.
Etapa 16
Uma função do Lambda para extrair, transformar e carregar metadados de mídia da tabela do DynamoDB em um cluster do Amazon OpenSearch Service.
Etapa 17
Um cluster do Amazon OpenSearch Service para indexar metadados de mídia.
Conteúdo relacionado
Temos o prazer de anunciar a disponibilidade das soluções do AWS Media Intelligence (AWS MI), uma combinação de serviços que permitem aos clientes integrar facilmente a IA em seus fluxos de trabalho de conteúdo de mídia.
Este curso fornece uma explicação sobre como criar um fluxo de trabalho para automatizar a geração de legendas, legendas em idiomas alternativos e faixas de áudio em idiomas alternativos usando os serviços de IA da Amazon: Amazon Transcribe, Amazon Translate e Amazon Polly.
Depois de fazer esse conjunto de cursos, você entenderá como a Inteligência artificial (IA) abriu caminho para o Machine learning (ML) que, por sua vez, abriu o caminho para o aprendizado profundo (DL).
Este curso fornece uma explicação sobre como criar um fluxo de trabalho para automatizar a geração de legendas, legendas em idiomas alternativos e faixas de áudio em idiomas alternativos usando os serviços de IA da Amazon: Amazon Transcribe, Amazon Translate e Amazon Polly.