Introdução
Construir um dispositivo IoT para uma solução de Visão Computacional e Aprendizado de Máquina (CVML) de ponta pode ser uma tarefa desafiadora. Você precisa compor o software program do seu dispositivo, ingerir vídeo e imagens, treinar seus modelos, implantá-los na ponta e gerenciar sua frota de dispositivos remotamente. Tudo isso precisa ser executado em escala e, muitas vezes, enfrentando outras restrições, como conectividade de rede intermitente e recursos limitados de computação de ponta. Serviços da AWS, como AWS IoT Greengrass, Núcleo de IoT da AWSe Transmissões de vídeo do Amazon Kinesis pode ajudar você a gerenciar e superar esses desafios e restrições, permitindo que você crie suas soluções mais rapidamente e acelerando o tempo de colocação no mercado.
Dados MTuma subsidiária da Telstra, projeta e fabrica telemática de veículos inovadora e tecnologia de gerenciamento de frota conectada e soluções. Essas soluções ajudam as empresas a melhorar a eficiência operacional, reduzir custos e atender aos requisitos de conformidade. Seu novo 7000AI produto representa um avanço significativo em seu portfólio de produtos; um único dispositivo que combina funções telemáticas regulatórias tradicionais com novos recursos avançados de gravação de vídeo e visão computacional. O monitoramento de vídeo de motoristas permite que os clientes da MTData reduzam o risco operacional medindo o foco do motorista e identificando a fadiga e a distração do motorista. Junto com o software program MTData “Hawk Eye”, os clientes da MTData podem monitorar sua frota de veículos e o desempenho do motorista, e identificar riscos e tendências.
O dispositivo 7000AI é um {hardware} e software program sob medida. Ele monitora os motoristas executando CVML na borda e ingere vídeo na nuvem em resposta a eventos como detectar que o motorista está sonolento ou distraído. A MTData usou os serviços AWS IoT para construir esta solução avançada de telemática e monitoramento de motorista.
“Ao usar os serviços AWS IoT, particularmente AWS IoT Greengrass e AWS IoT Core, conseguimos gastar mais tempo desenvolvendo nossa solução, em vez de gastar tempo construindo os serviços complexos e andaimes necessários para implementar e manter o software program em dispositivos de ponta com conectividade frequentemente intermitente. Também obtemos segurança e escalabilidade prontas para uso, o que é essencial, pois estamos lidando com dados potencialmente sensíveis.
O Amazon Kinesis Video Streams também tem sido um serviço inestimável, pois nos permite ingerir vídeos de forma segura e econômica e, então, servi-los de volta ao cliente de uma forma muito flexível, sem a necessidade de gerenciar a infraestrutura subjacente.” – Brad Horton, Arquiteto de Soluções na MTData.
Solução
Visão geral da arquitetura
A solução da MTData consiste em seu dispositivo 7000AI, seu aplicativo “Hawk-Eye” para localização de veículos e dados de telemetria, e seu aplicativo “Occasion Validation” para revisar e avaliar eventos detectados e videoclipes associados.
Vamos explorar as etapas da solução MTData, conforme mostrado na Figura 1.
- A MTData implanta o AWS IoT Greengrass no dispositivo veicular 7000AI para executar CVML na borda.
- Os dados de telemetria e GPS dos sensores do veículo são enviados para o AWS IoT Core por meio de uma rede celular. O AWS IoT Core envia os dados para aplicativos downstream com base em Regras da AWS IoT.
- O aplicativo Hawk-Eye processa dados de telemetria e mostra um painel com a localização do veículo e os dados do sensor.
- Os modelos CVML implantados na borda do dispositivo 7000AI são usados para analisar continuamente um feed de vídeo do motorista. Quando o modelo CVML detecta que o motorista está sonolento ou distraído, um alerta é gerado e um videoclipe do evento detectado é enviado ao Amazon Kinesis Video Streams para análise posterior na nuvem AWS.
- O aplicativo Occasion Validation permite que os usuários validem e gerenciem eventos detectados. Ele é construído com tecnologias serverless da AWS e consiste nos componentes Occasion Processor e Occasion Evaluation, e um aplicativo net.
- O Processador de Eventos é um AWS Lambda função que recebe e processa dados de telemetria. Ele grava dados em tempo actual para Amazon DynamoDBdados analíticos para Serviço de armazenamento simples da Amazon (Amazon S3)e encaminha eventos para a camada de ingestão de dados.
- A camada de ingestão de dados consiste em serviços executados em Serviço de contêiner elástico da Amazon (Amazon ECS) usando AWS Fargateque ingere eventos detectados e os encaminha para o aplicativo Hawk-Eye.
- O componente Avaliação de Eventos fornece acesso aos vídeos de eventos detectados por meio de uma API e consiste em consumidores que leem vídeos de eventos detectados do Amazon Kinesis Video Streams.
- O aplicativo net front-end, hospedado no Amazon S3 e entregue through Amazon CloudFrontpermite que os usuários revisem e gerenciem eventos de motoristas distraídos.
- Amazon Cognito fornece autenticação e autorização do usuário para os aplicativos.
Composição do software program do dispositivo
O dispositivo 7000AI é um design de {hardware} personalizado que executa uma distribuição Linux embarcada no NVIDIA Jetson. A MTData instala o AWS IoT Greengrass edge runtime no dispositivo e o usa para compor, implementar e gerenciar seu aplicativo IoT/CVML. O aplicativo consiste em vários MTData componentes personalizados do AWS IoT Greengrasscomplementado por componentes pré-construídos fornecidos pela AWS. Os componentes personalizados são Contêineres Docker e processos nativos do sistema operacional, fornecendo funcionalidades como inferência CVML, gravação de vídeo digital (DVR), telemática e gerenciamento de configurações.
Gerenciamento de dispositivos
Implantações do AWS IoT Greengrass são usados para atualizar o software program do aplicativo 7000AI. Este recurso de implantação lida com a conectividade intermitente da rede celular; pausando a implantação quando desconectado e progredindo quando conectado. Numerosos opções de implantação estão disponíveis para gerenciar suas implantações em escala.
Atualizações de imagem do sistema operacional
Pode haver complicação e risco associados à atualização de um dispositivo Linux embarcado atualizando pacotes individuais. Conflitos de dependência e reversões fragmentadas precisam ser manipulados para evitar o “bricking” de um dispositivo remoto e de difícil acesso. Consequentemente, para reduzir o risco, as atualizações do sistema operacional Linux embarcado (SO) do dispositivo 7000AI são executadas como atualizações de imagem de todo o SO.
As atualizações de imagem do SO são manipuladas em um componente Greengrass personalizado. Quando a MTData lança uma nova versão de imagem do SO, eles publicam uma nova versão do componente e revisar a implantação do AWS IoT Greengrass para publicar a alteração. O componente baixa o arquivo de imagem do SO, aplica-o, reinicia o dispositivo para iniciar a troca dos bancos de memória ativos e inativos e executa a nova versão. A configuração e as credenciais do AWS IoT Greengrass são mantidas em uma partição separada para que não sejam alteradas pela atualização.
Inferência CVML de Borda
A inferência CVML é realizada em intervalos regulares em imagens do motorista do veículo. A MTData desenvolveu modelos CVML avançados para detectar eventos em que o motorista parece estar sonolento ou distraído.
Ingestão de vídeo
O software program do dispositivo inclui o Amazon Kinesis Video Streams C++ Produtor SDK. Quando a inferência CVML personalizada do MTData detecta um evento de interesse, o Producer SDK é usado para publicar dados de vídeo no serviço Amazon Kinesis Video Streams na nuvem. Como resultado, a MTData economiza em largura de banda e custos, ao ingerir vídeo somente quando há um evento de interesse. Os quadros de vídeo são armazenados em buffer no dispositivo para que a ingestão seja resiliente a interrupções de rede celular. Os fragmentos de vídeo são marcados com information e hora no dispositivo, para que a ingestão atrasada não perca o contexto de tempo, e os dados de vídeo podem ser publicados fora de ordem.
Reprodução de vídeo
O aplicativo Validação de Eventos utiliza o API de mídia arquivada do Amazon Kinesis Video Streams para baixar videoclipes ou transmitir o vídeo arquivado. Segmentos de clipes também podem ser emendados do vídeo transmitido e arquivados no Amazon S3 para análise subsequente, treinamento de ML ou propósitos de retenção de clientes.
Configurações
O Sombra do dispositivo AWS IoT O serviço é usado para gerenciar configurações como inferência ligada/desligada, transmissão ao vivo ligada/desligada e configurações de qualidade de vídeo da câmera. O Shadows desacopla os aplicativos Hawk-Eye e Occasion Validation do dispositivo, permitindo que os aplicativos em nuvem modifiquem as configurações mesmo quando o dispositivo 7000AI estiver offline.
MLOps
A MTData desenvolveu um pipeline MLOps para dar suporte ao retreinamento e aprimoramento de seus modelos CVML. Usando vídeo ingerido anteriormente, os modelos são retreinados na nuvem, com a ajuda do NVIDIA TAO Toolkit. Os modelos de inferência CVML atualizados são publicados como componentes AWS IoT Greengrass e implantados em dispositivos 7000AI usando implantações AWS IoT Greengrass.
Conclusão
Ao usar os serviços da AWS, a MTData construiu uma solução telemática avançada que monitora o comportamento do motorista na borda. Um recurso essencial é a inferência CVML personalizada da MTData, que detecta eventos de interesse e carrega o vídeo correspondente para a nuvem para análise e supervisão posteriores. Outros recursos incluem gerenciamento de dispositivos, atualizações do sistema operacional, gerenciamento de configurações remotas e um pipeline MLOps para melhoria contínua do modelo.
“A tecnologia, especialmente a IA, está avançando em um ritmo cada vez maior. Precisamos ser capazes de acompanhar isso e continuar a fornecer soluções líderes do setor para nossos clientes. Ao utilizar os serviços da AWS, conseguimos continuar a atualizar e melhorar nossa solução de IoT de ponta com novos recursos e funcionalidades, sem um grande investimento financeiro inicial. Isso é importante para mim não apenas para incentivar a experimentação no desenvolvimento de soluções, mas também nos permitir levar essas soluções para nossos dispositivos de ponta mais rápido, com mais segurança e com maior confiabilidade do que antes.” – Brad Horton, Resolution Architect na MTData.
Para saber mais sobre os serviços e soluções de IoT da AWS, visite AWS IoT ou Contate-nos. Para saber mais sobre a MTData, visite seu web site.
Sobre os autores
![]() |
![]() |
![]() |