Perguntas frequentes sobre o AWS IoT Analytics
P: O que é o AWS IoT Analytics?
O AWS IoT Analytics é um serviço de análise de IoT totalmente gerenciado que coleta, pré-processa, aprimora, armazena e analisa dados de dispositivos de IoT em grande escala. O IoT Analytics pode realizar consultas ad hoc simples, bem como análise complexa, e é uma maneira mais simples de executar análises IoT para a compreensão do desempenho de dispositivos, a previsão de falhas de dispositivos e o Machine Learning. Ele foi criado especificamente para o IoT e captura automaticamente e armazena o registro da hora das mensagens, de modo que seja fácil realizar análises de séries temporais. O IoT Analytics também pode enriquecer os dados com metadados específicos do dispositivo, como o tipo de dispositivo e a localização usando o registro AWS IoT. O AWS IoT Analytics armazena dados em um armazenamento de dados otimizado com o IoT para que você possa executar consultas em grandes conjuntos de dados. Com o AWS IoT Analytics, você também pode executar contêineres de códigos criados personalizados. O AWS IoT Analytics automatiza a execução de suas análises personalizadas criadas no Notebook Jupyter ou em suas próprias ferramentas (como Matlab, Octave etc.) para execução programada.
P: Como funciona o AWS IoT Analytics?
O AWS IoT Analytics está totalmente integrado com o AWS IoT Core para que seja de fácil inicialização. Primeiro, você define um canal e seleciona os dados que deseja coletar para que apenas armazene e analise os dados de interesse, como a temperatura do sensor. Depois que o canal estiver pronto, configure os pipelines para processar seus dados. Pipelines são compatíveis com transformações como a conversão de Celsius para Fahrenheit, declarações condicionais, filtragem de mensagens e enriquecimento de mensagens usando fontes de dados externas e funções AWS Lambda.
Depois de processar os dados no pipeline, o IoT Analytics o armazena em um armazenamento de dados otimizado com o IoT para análise. Você pode consultar os dados usando o mecanismo de consulta SQL incorporado para responder a questões comerciais específicas. Por exemplo, você pode querer saber quantos usuários ativos mensais existem para cada dispositivo em sua frota. Por meio da integração com o Amazon SageMaker, o IoT Analytics é compatível com análises mais sofisticadas, como a inferência bayesiana e o Machine Learning. Além disso, é fácil criar visualizações e painéis e obter informações comerciais rapidamente a partir de seus dados do IoT Analytics, uma vez que ele está integrado com o Amazon QuickSight.
P: Posso executar meu código de análise personalizado no AWS IoT Analytics?
Sim, você pode trazer sua própria análise personalizada empacotada em um contêiner para execução no AWS IoT Analytics. Você pode importar seu contêiner de código personalizado em um conjunto de dados de contêiner e programar a execução de seu contêiner.
P: Como um conjunto de dados do SQL é diferente de um conjunto de dados de contêiner?
Um conjunto de dados do SQL é semelhante a uma visualização materializada de um banco de dados do SQL. Inclusive, um conjunto de dados do SQL é criado aplicando-se uma ação SQL. Os conjuntos de dados do SQL podem ser gerados automaticamente em uma programação recorrente por meio da especificação de um gatilho.
Um conjunto de dados de contêiner permite que você execute automaticamente suas ferramentas de análise e gere resultados. Reúne um conjunto de dados do SQL como entrada, um contêiner do Docker com suas ferramentas de análise e arquivos de biblioteca necessários, variáveis de entrada e saída e um gatilho de programação opcional. As variáveis de entrada e saída informam à imagem executável onde obter os dados e armazenar os resultados. O gatilho pode executar sua análise quando um conjunto de dados do SQL termina de criar seu conteúdo ou de acordo com uma expressão de cronograma. Um conjunto de dados de contêiner será executado automaticamente, gerará e depois salvará os resultados das ferramentas de análise.
P: O que são intervalos DeltaTime?
Os intervalos Delta são uma série de intervalos de tempo definidos pelo usuário, não sobrepostos e contíguos. Os intervalos Delta permitem que você crie conteúdo de conjunto de dados com, e realize análise em, novos dados que chegaram ao armazenamento de dados desde a última análise. Você cria um intervalo Delta configurando o DeltaTime na parte de filtros de uma queryAction de um conjunto de dados. Basicamente, isso permite que você filtre as mensagens que chegaram durante um intervalo de tempo específico, para que os dados contidos nas mensagens dos intervalos de tempo anteriores não sejam contados duas vezes.
P: Como executo meu contêiner de código personalizado no AWS IoT Analytics na minha programação de preferência?
Você pode trazer seu próprio código de análise personalizada empacotado em um contêiner para execução no AWS IoT Analytics. Você pode criar um conjunto de dados de contêiner por meio do console ou da API do AWS IoT Analytics, especificando seu conjunto de dados do SQL, imagem de contêiner de código personalizado, variáveis de entrada e saída e um gatilho de programação opcional como parâmetro, quando um gatilho pode ser um evento de criação de conteúdo do conjunto de dados do SQL ou um cronograma. O conjunto de dados de contêiner alimenta o conteúdo do conjunto de dados do SQL para o código analítico disponível na imagem do contêiner e executa a imagem automaticamente com base em seu gatilho para gerar insights em sua programação de preferência.
P: Quais as políticas de retenção disponíveis para datastores e canais?
Você pode optar por definir suas próprias políticas de retenção de dados para datastores e canais. O período de retenção pode ser definido como um número qualquer de dias. Se você não selecionar um período de retenção, o serviço reterá os dados indefinidamente.
P: Quais tipos de formatos de mensagem são compatíveis com o AWS IoT Analytics?
O serviço AWS IoT Analytics oferece suporte a formatos JSON e binário (JSON binário, buffers de protocolo, etc.). Para mensagens binárias, a primeira atividade do pipeline tem de ser uma atividade do Lambda que gera um JSON válido.
P: Posso reprocessar dados de um canal para um pipeline?
Sim. Você pode reprocessar dados do canal conectado ao pipeline usando StartPipelineReprocessing. Se você quiser reprocessar dados do canal usando outro pipeline, será necessário conectar esse pipeline ao canal adequado.
P: Como faço para alimentar os dados no AWS IoT Analytics usando a API de consumo?
Você pode usar a API BatchPutMessage para enviar dados de fontes como o Amazon S3, o Amazon Kinesis ou qualquer outra fonte de dados para o AWS IoT Analytics. Essas APIs podem ser usadas com uma função do Lambda ou qualquer outro script para enviar os dados ao AWS IoT Analytics. Para obter mais informações, consulte Send data from S3 to IoT Analytics e Send data from Kinesis to IoT Analytics.
P: Posso visualizar mensagens no canal?
Sim. As mensagens podem ser visualizadas usando a API SampleChannelData. Essa API amostra até dez mensagens do canal entre todos os dados.
P: Posso simular a atividade do pipeline?
Sim. Você pode usar a API RunPipelineActivity ou o console para simular a atividade do pipeline. A API recebe a lista de dados da amostra (gerados por SampleChannelData ou informados manualmente) para simular a atividade e oferecer uma visualização dos resultados.
P: Quais são as diferenças entre o AWS IoT Analytics e o Amazon Kinesis Analytics?
O AWS IoT Analytics foi criado especificamente para o IoT e captura automaticamente e armazena o registro de data/hora da mensagem, de modo que seja fácil realizar análises de séries temporais. O IoT Analytics também pode enriquecer os dados com metadados específicos do dispositivo, como o tipo de dispositivo e a localização usando o registro AWS IoT e outras fontes públicas de dados. O IoT Analytics armazena os dados do dispositivo no armazenamento de dados otimizado para o IoT para que você possa executar consultas em grandes conjuntos de dados.
O Amazon Kinesis Analytics é uma ferramenta de propósito geral criada para processar facilmente dados em streaming de dispositivos IoT, bem como outras fontes de dados em tempo real.
Tabela 1: AWS IoT Analytics em comparação com o recurso Kinesis Analytics
| Recursos | AWS IoT Analytics |
Amazon Kinesis Analytics |
| Armazenamento de dados de séries temporais | X | |
| Partições automáticas de dados por registro de data/hora de mensagens e ID do dispositivo | X | |
| Enriquecimento de dados específicos de dispositivos | X | |
| Consultas em grandes conjuntos de dados | X | |
| Streaming de dados analíticos | X | |
| Processamento em tempo real | Latências de minutos ou segundos | Latências de segundos ou milissegundos |
| Operações com janela de tempo | X | |
| Analise os dados não estruturados e crie automaticamente um esquema | JSON e CSV | JSON e CSV |
P: Quando devo usar o AWS IoT Analytics e quando devo usar o Amazon Kinesis Analytics?
Você pode usar o AWS IoT Analytics para análises de IoT. Alguns casos de uso incluem a compreensão do desempenho em longo prazo do dispositivo, relatórios de negócios e análise ad hoc, e manutenção de frota preditiva. O IoT Analytics é o mais adequado para esses casos de uso porque coleta, prepara e armazena dados de dispositivos em longos períodos de tempo em um armazenamento de dados otimizado com IoT. O IoT Analytics também enriquece os dados com metadados específicos do dispositivo, como o tipo de dispositivo e a localização usando o registro do AWS IoT e outras fontes públicas de dados.
No entanto, se você precisa analisar dados IoT em tempo real para casos de uso, como o monitoramento de dispositivos, pode usar o Amazon Kinesis Analytics.
Tabela 2: AWS IoT Analytics em comparação com casos de uso do Kinesis Analytics
| Caso de uso |
AWS IoT Analytics | Amazon Kinesis Analytics |
| Compreendendo as características de desempenho do dispositivo de longo prazo | Sim. Enriqueça os dados IoT com metadados específicos de IoT, como o tipo de dispositivo e a localização usando o registro do AWS IoT e outras fontes públicas de dados. Por exemplo, operadores de vinhas precisam enriquecer os dados do sensor de umidade com a precipitação esperada nas vinhas para que saibam quando regar as safras. | Não. Ideal para análise de streaming em tempo real. |
| Relatórios de negócios e análise ad-hoc em dados IoT | Sim. Colete, processe e armazene dados IoT e se integre com o AWS QuickSight para criar painéis e relatórios ou usar o mecanismo de consulta SQL incorporado para consultas ad hoc. Por exemplo, falhas dos sensores agregados em uma frota para informar sobre o desempenho da frota semanalmente. | Não. Mais adequado para executar consultas de streaming em dados IoT, como gerar alertas quando um sensor falhar. |
| Manutenção preditiva da frota | Sim. Coletar, processar e armazenar dados IoT e usar modelos pré-criados para criar e implantar modelos preditivos. Por exemplo, prever quando os sistemas de HVAC falharão nos veículos conectados para que o veículo possa ser redirecionado e prontamente acoplado para evitar danos no transporte. | Não. A manutenção preditiva requer uma análise histórica sobre dados de longo prazo para a construção de modelos. |
| Monitoramento de dispositivos em tempo real | Não. | Sim. O Kinesis Analytics pode agregar dados ao longo do tempo de forma contínua, detectar anomalias e realizar ações como o envio de alertas. Por exemplo, o Kinesis Analytics pode calcular as médias de rotação de 10 segundos das temperaturas das válvulas a cada 5 minutos em equipamentos industriais e detectar quando a temperatura exceder certos limites predefinidos. Ele pode então alertar os sistemas de controle para desligar automaticamente os equipamentos, evitando acidentes. |
P: Quando devo usar o AWS IoT Analytics e o Amazon Kinesis juntos?
Use o AWS IoT Analytics e o Amazon Kinesis juntos quando precisar de análises históricas e em tempo real. Por exemplo, use o Kinesis Analytics para calcular as médias de rotação de 10 segundos das temperaturas da válvula em equipamentos industriais para detectar quando a temperatura excede determinados limites. O Kinesis Analytics pode então alertar os sistemas de controle para desligar automaticamente os equipamentos, evitando acidentes. Em seguida, use o Kinesis Streams para enviar dados para o IoT Analytics. Você pode usar o IoT Analytics para compreender as tendências e também prever quando as válvulas devem ser substituídas ou verificadas.
P: Ao trabalhar com dados de IoT, quando devo usar o AWS IoT Analytics em comparação com Amazon Kinesis Streams, Amazon Kinesis Analytics e Amazon Kinesis Firehose?
Os clientes podem usar o AWS Lambda para enviar dados do Amazon Kinesis Streams para um canal de dados do AWS IoT data e, em seguida para o AWS IoT Analytics.
O Amazon Kinesis Analytics foi criado para realizar análises de streaming, enquanto o IoT Analytics foi criado para realizar análises em dados em repouso. Os clientes que precisam de análises em tempo real e IoT podem usar uma combinação de Kinesis Analytics e IoT Analytics.
O Amazon Kinesis Firehose é a maneira mais fácil de carregar dados em streaming em armazenamento de dados AWS Amazon S3, Amazon Redshift e Amazon Elasticsearch Service, permitindo análises quase em tempo real com as ferramentas existentes de inteligência de negócios. O IoT Analytics não é compatível com o Kinesis Firehose como uma fonte de dados.
P: Quando devo usar o AWS IoT Analytics e quando devo usar o Amazon Kinesis Video Streams?
O Amazon Kinesis Video Streams facilita o fluxo seguro de dados de vídeo, áudio e outros dados codificados por tempo de fontes como câmeras, sensores de profundidade e RADARs para AWS para processamento em tempo real e em lote de Machine Learning, análise e outros aplicativos. O Kinesis Video Streams é particularmente projetado para ingerir dados de vídeo de dispositivos, enquanto o AWS IoT Analytics foi projetado para analisar dados IoT não vídeo. Na GA, não há integração direta entre o Kinesis Video Streams e o AWS IoT Core ou o IoT Analytics. No entanto, os clientes podem consultar o Kinesis Video Streams e o IoT Analytics a partir de seus aplicativos usando as APIs.
Descubra mais recursos do AWS IoT Analytics