Converta documentos e media utilizando Inteligencia Artificial

Por Amanda Quinto, arquiteta de soluções da AWS
Por Gabriel Couto, arquiteto de soluções da AWS
Por Leticia Dornelas, arquiteta de soluções da AWS

Segundo a Pesquisa Nacional de Saúde (PNS), em 2019, na população do país com 2 anos ou mais de idade, 3,4% (ou 6,978 milhões) tinham deficiência visual e 1,1% (ou 2,3 milhões) tinham deficiência auditiva, e conforme a Lei Brasileira de Inclusão da Pessoa com Deficiência (Lei 13.146), que torna obrigatória a acessibilidade nos sítios da internet mantidos por empresas com sede ou representação comercial no País ou por órgãos de governo, porém de acordo com a matéria da CNN Brasil, mostra que o número de sites brasileiros aprovados em todos os testes de acessibilidade representa menos de 1% do total.

Criar uma solução acoplável, para que empresas e órgãos, possam gerar documentos e mídias para dar acessibilidades aos seus usuários é o que abordaremos nesse blog post.

A solução abaixo, demostra uma arquitetura com serviços serverless para a construção e funcionamento de um website estático que está no Amazon S3, onde será possível inserir documentos e mídias, e com o AWS Step Function para orquestrar os serviços inteligência artificial para conversão dos documentos e mídias para acessibilidade, e por final armazena as informações no Amazon Opensearch para facilitar a busca desses documentos.

Visão Geral da Solução

Figura 1 – Diagrama da solução

Upload dos documentos e videos

O website está hospedado pelo Amazon CloudFront, assim que é feito o upload dos arquivos eles são salvos no Amazon S3, que dispara um evento pelo Amazon EventBridge que inicializa o workflow do AWS Step Functions. Foi criado uma máquina de estados para validar o processamento e armazenamento dos documentos e mídias.

Workflow Step Functions:
1 – Valida o tipo de arquivo
2 – Caso PDF, o Amazon Textract será iniciado.
2.1 – Extrai o texto impresso de qualquer documento.
2.2 – Salva a extração no Amazon S3
2.3 – Obtém o texto salvo na extração e envia para o Amazon Polly
2.4 – Converte o texto para fala e salva no Amazon S3 o arquivo
2.5 – Lambda envia para o Amazon OpenSearch Service os dados dos arquivos para que possa ser feito a busca
3 – Caso mp4 o Amazon Transcribe será iniciado.
3.1 – Converte automaticamente a fala do arquivo em texto
3.2 – Salva a conversão no Amazon S3
3.3 – Lambda envia para o Amazon OpenSearch Service os dados da mídia para que possa ser feito a busca

Pesquisa dos arquivos

Quando o usuário realiza a busca no site, é feita uma chamada na api do Amazon API Gateway que inicializa um AWS Lambda responsável por fazer a busca no Amazon OpenSearch Service, que irá retornar ao website todos os dados relacionados a busca.

Figura 2 – Resultado da busca

Foi utilizado também o Amazon Cognito, para o login dos usuários no website e controle de acesso para as chamadas da api, além do Amazon CloudWatch para logs e métricas e o AWS X-RAY para observabilidade da máquina de estados.

Conclusão e próximos passos

Com a utilização dos serviços de inteligência artificial como Amazon Textract extrair texto de arquivos pdfs, Amazon Polly converter texto em fala e o Amazon Transcribe que converte a fala para texto, possibilita que as organizações possam desenvolver soluções de busca que tenham mais acessibilidade para seus usuários.

Links adicionais
Github: https://github.com/aws-samples/accessibility-document-media-searcher

Sobre os autores:

Amanda Quinto é Arquiteta de Soluções da AWS no time de Setor Público com foco em Organizações sem fins lucrativos (Non-profits Organizations). Amanda já atuou em diversos projetos ajudando os times de desenvolvimento e sustentação em arquitetar sistemas resilientes e escaláveis. Formada pela FATEC-SP, é entusiasta de Devops, machine learning, e apaixonada por kombis.

Gabriel Couto de Almeida é Arquiteto de Soluções da AWS no time de setor público com foco em empresas de Educação. Gabriel já atuou em projetos de desenvolvimento nas áreas de Defesa, Trafego Aéreo, Educação e Instituições Financeiras. Formado em Engenharia da Computação pelo IMT, tem interesse por DevOps, Analytics, Inteligência Artificial e dança de salão.

Letícia Dornelas, Arquiteta de Soluções da AWS, com foco em parceiros do setor público. Trabalha com desenvolvimento de sistemas há mais de 8 anos, atuando em projetos com arquiteturas distribuídas, escaláveis e resilientes. Formada pelo IFSP, tem um interesse especial em Machine Learning, Databases, Serverless e por livros.