Apresentação do AWS Panorama — Melhore suas operações com visão computacional na borda

Por Banu Nagasundaram e Jason Copeland

Ontem, no AWS re:Invent 2020, anunciamos o AWS Panorama, um novo dispositivo de aprendizado de máquina (ML) e SDK, que permite que as organizações tragam visão computacional (CV) para suas câmeras locais para fazer previsões automatizadas com alta precisão e baixa latência. Neste post, você verá como os clientes de uma variedade de setores estão usando o AWS Panorama para melhorar suas operações automatizando tarefas de monitoramento e inspeção visual.

Para muitas organizações, derivar insights relevantes de vídeos de câmeras locais para melhorar as operações continua sendo um desafio, seja aumentando a qualidade da fabricação, garantindo segurança ou conformidade operacional de suas instalações, ou analisando o tráfego de clientes em locais de varejo. Para obter esses insights, os clientes devem monitorar vídeos ao vivo de instalações ou equipamentos, ou revisar filmagens gravadas após um incidente ter ocorrido, que é um processo manual, propenso a erros e difícil de escalar.

Os clientes começaram a aproveitar os modelos de CV em execução na nuvem para automatizar essas tarefas de inspeção visual, mas há circunstâncias em que confiar exclusivamente na nuvem não é ideal devido a requisitos de latência ou conectividade intermitente. Por estas razões, CV processado localmente na borda é necessário, o que torna os dados imediatamente relevantes para tomada de ação. Alguns clientes começaram a explorar os recursos existentes para CV na borda com câmeras corporativas, mas descobrem que muitas câmeras não têm a capacidade de executar CV no dispositivo, ou oferecem apenas modelos de ML simples e predefinidos que não podem ser personalizados ou melhorados ao longo do tempo.

AWS Panorama

O AWS Panorama é um dispotivo de ML e SDK (kit de desenvolvimento de software) que permite adicionar CV às câmeras locais existentes ou usar novas câmeras habilitadas para o AWS Panorama para CV de borda, disponíveis em breve de parceiros como a Axis Communications e a Basler AG.

Com o AWS Panorama, você pode usar CV para ajudar a automatizar tarefas caras de inspeção visual, com a flexibilidade de trazer seus próprios modelos de CV, como aqueles criados com o Amazon SageMaker, ou usar modelos pré-criados da AWS ou de terceiros. O AWS Panorama remove o trabalho pesado de cada etapa do processo de CV, facilitando o uso de vídeo ao vivo para aprimorar tarefas que tradicionalmente exigiam inspeção visual e monitoramento, como avaliar a qualidade de fabricação, encontrar gargalos em processos industriais, avaliar a segurança de trabalhadores dentro das suas instalações e analisar o tráfego de clientes em lojas de varejo.

O dispositivo do AWS Panorama

O dispositivo do AWS Panorama analisa vídeos de câmeras locais, atuando localmente em seus dados em instalações onde a conectividade de rede é intermitente, gerando previsões de ML altamente precisas em milissegundos para melhorar as operações.

O dispositivo do AWS Panorama, quando conectado a uma rede, pode descobrir e se conectar a câmeras IP existentes que suportem o padrão ONVIF e executar vários modelos de CV por stream de vídeo. Suas câmeras não precisam de recursos inteligentes ou funcionalidades de ML integradas porque o dispositivo do AWS Panorama oferece a capacidade de adicionar CV às câmeras IP existentes.

Com um grau de proteção IP62, o dispositivo do AWS Panorama é à prova de poeira e resistente à água, tornando-o apropriado para uso em condições ambientais adversas, permitindo que você leve CV para onde for necessário em instalações industriais.

O AWS Panorama Device SDK

O AWS Panorama Device SDK é uma stack de software de dispositivo para CV, códigos de exemplo, APIs e ferramentas que oferecerão suporte à família de produtos NVIDIA Jetson e à linha de produtos Ambarella CV 2x. Com o AWS Panorama Device SDK, os fabricantes de dispositivos podem criar novos dispositivos de borda habilitados para o AWS Panorama e câmeras inteligentes que executam modelos de CV mais significativos na borda e, além disso, oferecer a você uma seleção de dispositivos de borda para satisfazer os seus casos de uso. Para obter mais informações, consulte a página do AWS Panorama SDK.

Histórias de clientes

Nesta seção, compartilhamos as histórias de clientes que estão desenvolvendo com o AWS Panorama para melhorar o controle de qualidade de fabricação, insights de varejo, segurança no local de trabalho, eficiência da cadeia de suprimentos e transporte e logística, e estão inovando mais rapidamente com CV na borda.

Manufatura e indústria

O AWS Panorama pode ajudar a melhorar a qualidade do produto e diminuir os custos decorrentes de defeitos comuns de fabricação, permitindo que você tome medidas corretivas rápidas. Com o dispositivo do AWS Panorama, você pode executar aplicações de CV na borda para detectar anomalias de fabricação usando stream de vídeos de câmeras IP existentes que monitoram suas linhas de produção. Você pode integrar os resultados em tempo real com seus sistemas locais, facilitar a automação e melhorar imediatamente os processos de fabricação no chão de fábrica ou linhas de produção.

“Para que os pacotes nos Centros de Logística da Amazon sejam embalados com sucesso e em tempo hábil, os itens devem primeiro ser incorporados em nosso parque robótico estruturado por meio de um processo eficiente de armazenamento. Os itens são guardados individualmente em diferentes caixas dentro de cada estante transportada por nossos robôs móveis. Hoje, usamos modelos de ML de visão computacional de detecção de ação implantados no SageMaker (na nuvem) para prever com precisão o compartimento no qual cada item foi colocado. O AWS Panorama nos dá a flexibilidade de executar esses mesmos modelos em tempo real em dispositivos de borda, o que abre as portas para otimizar ainda mais o processo de armazenamento.”

— Joseph Quinlivan, Vice-Presidente de Tecnologia, Robotics & Fulfillment, Amazon

“Muitos componentes únicos entram em cada guitarra e cada instrumento é cuidadosamente trabalhado. Com o AWS Panorama e a ajuda do Amazon Machine Learning Solutions Lab, podemos ter visibilidade em tempo real das métricas pela primeira vez, como quanto tempo leva para fabricar diferentes tipos de guitarras e quanto tempo cada processo requer. Podemos usar essas métricas para identificar gargalos, otimizar a eficiência e melhorar as operações gerais.”

— Michael Spandau, Vice-Presidente Geral de TI da Fender.

Insights de varejo reimaginados

Em ambientes de varejo, o dispositivo do AWS Panorama permite que você execute vários modelos de CV simultâneos nos streams de vídeo de suas câmeras locais. Aplicações para análise de varejo, como contagem de pessoas, mapas de calor e gerenciamento de filas, podem ajudá-lo a começar rapidamente. Com os recursos de gerenciamento simplificados oferecidos pelo AWS Panorama, você pode expandir facilmente suas aplicações de CV para incluir vários locais ou várias lojas. Isso significa que você pode acessar insights com mais rapidez e precisão, permitindo que você tome decisões em tempo real que criam melhores experiências para seus clientes.

“ Queremos usar a visão computacional para entender melhor as necessidades dos consumidores em nossas lojas, otimizar as operações e aumentar a conveniência para nossos visitantes. Planejamos usar o AWS Panorama para implantar diferentes aplicações de visão computacional em nossas lojas e experimentar ao longo do tempo para fortalecer a experiência do cliente e a proposta de valor.”

— Ian White, Vice-Presidente Sênior, Marketing Estratégico e Inovação, Parkland

“ A TensorIoT foi fundada no instinto de que a maioria da ‘computação’ está se movendo para a borda e todas as ‘coisas’ estão se tornando mais inteligentes. O AWS Panorama facilitou muito a movimentação da visão computacional para a borda e nos envolvemos com a Parkland Fuel para usar o AWS Panorama para reunir importantes análises de varejo que ajudarão seus negócios a prosperar.”

— Ravikumar Raghunathan, CEO da TensorIoT

“A Pilot.AI resolve problemas de alto impacto através do desenvolvimento de algoritmos computacionalmente eficientes para permitir a difusão de inteligência artificial em execução na borda. Com o AWS Panorama, os clientes podem rapidamente adicionar inteligência às suas câmeras IP existentes e começar a gerar insights em tempo real sobre suas operações de varejo usando os modelos de visão computacional de alto desempenho do Pilot.AI.”

— Jon Su, CEO, Pilot AI

Segurança no local de trabalho

O AWS Panorama permite que você monitore a segurança no local de trabalho, seja notificado imediatamente sobre quaisquer possíveis problemas ou situações inseguras e tome medidas corretivas. O AWS Panorama permite que você encaminhe facilmente os resultados de aplicações de CV em tempo real para serviços da AWS, como Amazon Simple Storage Service ( Amazon S3), Amazon Kinesis Video Streams ou Amazon CloudWatch para agregar dados. Isso significa que você pode tomar decisões aprimoradas baseadas em dados para melhorar a segurança no local de trabalho para seus funcionários.

“A Bigmate está focada em soluções de gerenciamento de risco crítico que aproveitam visão computacional para ajudar as organizações a melhorar a saúde e a segurança no local de trabalho. Seja mantendo seus funcionários fora do caminho de equipamentos perigosos ou garantindo que eles tenham o Equipamento de Proteção Individual (EPI) adequado, com o AWS Panorama, podemos implantar rapidamente um conjunto de aplicações usando suas câmeras CFTV existentes que fornecem notificações em tempo real para evitar eventos críticos fornecendo os dados que você precisa para gerar uma cultura de segurança em primeiro lugar.”

— Brett Orr, Presidente Gerente Geral, Bigmate

“ As organizações estão enfrentando uma demanda sem precedentes para transformar e proteger seus espaços físicos. Com o Rhythm.io da Accenture, estamos focados em ajudar os clientes a criar consciência situacional máxima e ambientes mais seguros, seja para compras, viagens ou segurança pública, combinando dados operacionais e entradas de vários sensores com insights de visão computacional do AWS Panorama.”

— Matthew Lancaster, Diretor Geral, Accenture

“ Zonas de construção são ambientes dinâmicos. A qualquer momento, você tem centenas de entregas e subcontratados compartilhando o local com equipamentos pesados, e ele está mudando todos os dias. A INDUS.AI está focada em fornecer inteligência de construção para empreiteiras. A visão computacional é uma ferramenta especialmente valiosa para isso devido à sua capacidade de lidar com várias tarefas ao mesmo tempo. Estamos ansiosos para fornecer insights em tempo real sobre gerenciamento e segurança do local de trabalho em uma experiência semelhante a SaaS para clientes do AWS Panorama.”

— Matt Man, CEO, INDUS.AI

Eficiência da Cadeia de Suprimentos

Em ambientes de fabricação e montagem, o AWS Panorama pode ajudar a fornecer informações críticas para as operações da cadeia de suprimentos, rastreando a vazão e reconhecendo códigos de barras, rótulos de peças ou produtos concluídos. Os clientes de uma fábrica de montagem, por exemplo, podem querer usar o AWS Panorama para identificar automaticamente rótulos e códigos de barras de mercadorias recebidas em determinados pontos de identificação, para reservas automáticas de mercadorias em um sistema de gerenciamento de estoque.

“ A visão computacional nos ajuda a inovar e otimizar vários processos, e as aplicações são infinitas. Queremos usar visão computacional para avaliar o tamanho dos caminhões que chegam aos nossos celeiros, a fim de determinar a doca de carga ideal para cada caminhão. Também queremos usar visão computacional para entender o movimento de ativos em nossas plantas para remover gargalos. O AWS Panorama permite todas essas soluções com um serviço gerenciado e um dispositivo de borda para implantar e gerenciar uma variedade de aplicações locais de visão computacional.”

— Victor Caldas, Líder de Capacidade de Visão Computacional, Cargill

“ Todos os meses, milhões de caminhões entram nas instalações da Amazon, portanto, criar tecnologia que automatize o carregamento, o descarregamento e o estacionamento de reboques é incrivelmente importante. O MMPT (Middle Mile Product and Technology) da Amazon começou a usar o AWS Panorama para reconhecer as placas desses veículos e agilizar automaticamente a entrada e a saída dos motoristas. Isso permite uma visita segura e rápida às instalações da Amazon, garantindo uma entrega de pacotes mais rápida para nossos clientes.”

— Steve Armato, Vice Presidente Middle Mile Product and Technology, Amazon

Transporte e logística

O AWS Panorama permite que você processe dados para melhorar a infraestrutura, a logística e o transporte; seja notificado imediatamente sobre possíveis problemas ou situações inseguras e implemente soluções apropriadas. O dispositivo do AWS Panorama permite que você se conecte facilmente a câmeras de rede existentes, processe vídeos diretamente na borda e colete métricas para inteligência em tempo real, ao mesmo tempo em que cumpre os requisitos normativos sobre privacidade de dados, como processar dados localmente sem armazenar os vídeos localmente ou transmitir os vídeos para a nuvem. Isso significa que você pode obter as informações necessárias para fornecer serviços aprimorados para seus funcionários.

“A Siemens Mobility é líder em soluções de transporte contínuas, sustentáveis e seguras há mais de 160 anos. O Siemens ITS Digital Lab é a equipe de inovação encarregada por trazer os mais recentes avanços digitais para o setor de tráfego e está posicionada exclusivamente para fornecer análises de dados e soluções de IA para órgãos públicos. À medida que as cidades enfrentam novos desafios, os municípios se voltaram para nós para inovar em seu nome. As cidades gostariam de entender como gerenciar efetivamente seus ativos e melhorar o congestionamento e o tráfego direto. Queremos usar o AWS Panorama para trazer visão computacional às câmeras de segurança existentes para monitorar o tráfego e alocar espaço à beira da calçada de forma inteligente, ajudar as cidades a otimizar o estacionamento e o tráfego e melhorar a qualidade de vida de seus constituintes.”

— Laura Sanchez, Gerente de Inovação, Siemens Mobility ITS Digital Lab

Como começar

Você pode melhorar suas operações de negócios com o AWS Panorama em três etapas:

1. Identifique o processo que deseja melhorar com visão computacional.
2. Desenvolva modelos de CV com o SageMaker ou use modelos pré-criados da AWS ou de terceiros. Se você precisar de experiência em CV, aproveite a riqueza de experiência que os parceiros do AWS Panorama oferecem.
3. Comece agora com o preview e avalie, desenvolva e teste suas aplicações de CV com o kit de desenvolvimento do dispositivo do AWS Panorama.

Sobre os Autores

Banu Nagasundaram é gerente sênior de produto — técnico do AWS Panorama. Ela ajuda os clientes corporativos a serem bem-sucedidos usando os serviços de AI/ML da AWS e soluciona problemas de negócios do mundo real. A Banu tem mais de 11 anos de experiência em tecnologia de semicondutores antes da AWS, trabalhando em projetos de computação de IA e HPC para clientes de datacenter. Em seu tempo livre, ela gosta de caminhadas e pintura.

Jason Copeland é líder veterano de produtos na AWS com profunda experiência em aprendizado de máquina e visão computacional em empresas como Apple, Deep Vision e RingCentral. Ele tem um MBA da Harvard Business School.

Revisor

Yan Marim é arquiteto de soluções na AWS e tem interesse principalmente em AI/ML. Atualmente apoia clientes na sua jornada de transformação digital na nuvem