Uma empresa de serviços públicos implanta drones para inspecionar centenas de quilômetros de linhas de energia. Um departamento de polícia obtém horas de imagens de câmeras de trânsito para investigar um acidente de atropelamento. Uma equipe de planejamento urbano utiliza imagens de câmeras para analisar o fluxo de pedestres e de tráfego.
Terabytes de dados de vídeo são gerados todos os dias e podem fornecer informações valiosas sobre tudo, desde eficiência operacional até segurança pública. Mas quase nada disso é analisado de forma significativa. Isso ocorre porque vasculhar esses dados de vídeo não estruturados consome muito tempo e é caro.
Think about ser capaz de simplesmente aplicar consultas em linguagem pure ao conteúdo de vídeo em grande escala, não apenas para encontrar conteúdo específico, mas também para analisar, avaliar e aprender com ele.
Databricks podem suportar exatamente isso. A abordagem? Trate o vídeo como um problema de engenharia de dados.
Como o Databricks mudou a abordagem da análise de vídeo?
A abordagem tradicional da análise de vídeo é lançar cada vez mais analistas humanos para resolver o problema. Avanços no aprendizado profundo, visão computacional e, mais recentemente, modelos de linguagem de visão (VLMs) tornaram possível que os computadores identificassem objetos em vídeos com alta precisão. Mas dimensionar a inferência e orquestrar pipelines com enormes quantidades de dados não estruturados dificultou a logística de construção desses pipelines para as organizações. Isto é especialmente verdadeiro para a aplicação de VLMs ao problema. Os VLMs fornecem flexibilidade na solicitação, não exigindo que o modelo seja pré-treinado ou ajustado em lessons específicas antes do uso, mas são maiores e mais lentos que os modelos tradicionais de detecção de objetos, apresentando desafios de escalabilidade.
No Databricks, você pode se concentrar em como a análise de vídeo usando esses modelos se ajusta aos pipelines de dados, em vez das complexidades da inferência e da infraestrutura do modelo.
Como o Databricks processa e analisa vídeo em escala?
Esta abordagem pode ser demonstrada numa aplicação Databricks implantada diretamente num espaço de trabalho Databricks. Um usuário carrega um vídeo ou aponta para um já armazenado em um quantity do Databricks, insere um immediate em linguagem pure descrevendo o que está procurando diretamente – por exemplo, caminhões de caixa branca, guardas de segurança, painéis solares – e inicia o pipeline de processamento com um único clique
A partir daí, o Databricks Serverless GPU Compute (SGC) assume o controle. Um trabalho Lakeflow é acionado, que captura GPUs pré-aquecidas e imediatamente inicia o processamento do vídeo por meio do modelo de segmentação SAM3 da Meta em segundos. O modelo identifica objetos de interesse que correspondem ao immediate em cada quadro do vídeo. O vídeo é truncado apenas para esses momentos e reescrito em outro quantity do Databricks. Por exemplo, um vídeo de câmera de trânsito de 26 minutos foi reduzido para um minuto e 55 segundos de filmagem relevante, com carimbos de knowledge e hora originais preservados para que os revisores possam voltar à fonte, se necessário. Cada clipe truncado é então passado para um modelo de base por meio da API Databricks Basis Mannequin (FMAPI) para resumo gerado por IA, fornecendo dados textuais que podem ser gravados em uma tabela ou fluxo para processos downstream adicionais.
Como todo esse processo é tratado como um problema de engenharia de dados, o pipeline é explicitamente independente do modelo, aproveitando o MLflow para permitir que os usuários escolham o modelo de sua preferência ou até mesmo tragam modelos novos ou ajustados para o fluxo de trabalho. As assinaturas do modelo MLflow padronizam as entradas e saídas do modelo para garantir continuidade e flexibilidade. Qualquer modelo que você baixar do Huggingface ou treinar do zero pode ser aproveitado neste pipeline. O SAM3 pode ser trocado por modelos YOLO, outros modelos de visão baseados em transformadores ou modelos específicos de domínio ajustados.”
Essa flexibilidade também se estende à camada de resumo e detecção de anomalias. Qualquer modelo básico multimodelo ou modelos menores de legenda de imagem podem ser usados para converter o conteúdo do quadro em descrições de texto. Ter essas descrições de texto pode alimentar fluxos de trabalho de IA baseados em texto para resumir o vídeo para análise do analista ou identificar conteúdo inesperado e sinalizar segmentos de vídeo para revisão. Tornar os modelos intercambiáveis sem quebrar o pipeline torna este exemplo extensível a quase todos os casos de uso de processamento de vídeo.
Como a computação de GPU sem servidor é pré-configurada para funcionar com GPUs NVIDIA populares e estruturas de aprendizado profundo, é apenas uma questão de escrever seu código de engenharia de dados. Você não precisa se preocupar com a capacidade de computação da GPU ou com a compatibilidade da versão do pacote Python com CUDA.
Como o pipeline lida com vídeo em escala?
O fluxo de trabalho acionado pelo aplicativo é apenas uma forma de interagir com o pipeline. O mesmo pipeline pode ser executado como um arquivo ou processo orientado a eventos: o vídeo chega a um quantity do Databricks e aciona automaticamente o trabalho do LakeFlow para produzir a saída truncada e a análise de base de texto sem qualquer intervenção humana. Posteriormente, esse texto pode acionar alertas, encaminhar para revisores ou alimentar processamento adicional de IA.
A simultaneidade é tratada por meio de uma configuração simples. Você pode despejar 20 vídeos de uma vez e isso iniciará 20 versões do mesmo trabalho em execução ao mesmo tempo. Cada trabalho obtém sua própria computação de GPU sem servidor de forma independente, dimensionando horizontalmente conforme necessário e libera recursos quando concluído. Não é necessário gerenciamento de cluster e não é necessário pagar por GPUs quando elas não estão em uso.
Onde a inteligência de vídeo pode ser aplicada?
Este aplicativo e pipeline são um ponto de partida. Após a implementação em qualquer espaço de trabalho do Databricks, a arquitetura subjacente suporta qualquer cenário em que grandes volumes de vídeo precisam de ser processados, pesquisados ou resumidos. Isso inclui inspeção de infraestrutura, segurança física, segurança pública, operações aeroportuárias e muito mais. O repositório GitHub que contém o aplicativo e o código do pipeline está disponível publicamente para equipes que desejam implantá-lo, estendê-lo ou adaptá-lo aos seus próprios casos de uso.
Crie seu pipeline de inteligência de vídeo no Databricks hoje mesmo
Veja como sua agência pode processar, resumir e pesquisar grandes volumes de vídeo sem fluxos de trabalho complexos de ML. Explorar Databricks para o setor público e conecte-se com nossa equipe do setor público.