No mundo de hoje, chatbots de inteligência synthetic como ChatGPT e Claude podem executar muitas funções, como redigir e-mails de trabalho e planejar itinerários de viagem. Esses chatbots são sistemas construídos em torno de grandes modelos de linguagem de visão (VLMs): IA treinada em um enorme conjunto de dados que inclui livros, websites, códigos e imagens.
Os algoritmos de IA são então refinados com base em grandes quantidades de suggestions gerado por humanos para seguir instruções e evitar resultados prejudiciais ou indesejados, e usar esse “conhecimento” para produzir texto ou imagens com base na entrada de um usuário. Embora os chatbots tenham limitações claras, eles podem ser muito úteis para uma ampla gama de tarefas, inclusive em algumas áreas que tradicionalmente exigem habilidades especializadas, como programação de computadores.
Como parte de um projeto para o Departamento da Força Aérea dos EUA – Acelerador de IA do MITde Programa Fantasmao cadete da Força Aérea dos EUA, Joshua Lynch — com a ajuda de sua mentora, Laura Niss, membro da equipe técnica do Grupo de sistemas embarcados e de IA no Laboratório Lincoln do MIT – queria determinar se, sendo um novato em codificação, ele poderia desenvolver um programa totalmente funcional. Ele usou um processo chamado “vibe-coding”, no qual um usuário depende inteiramente de prompts para guiar um chatbot de IA generativo para escrever e refinar o código.
Sua motivação period capacitar qualquer pessoa familiarizada com o espaço dos problemas militares, independentemente de sua formação técnica, a desenvolver suas ideias para aplicativos de software program úteis, essencialmente contornando as restrições de tempo e custo do pipeline tradicional de desenvolvimento de software program militar. Lynch pretendia construir seu próprio aplicativo enquanto Niss monitorava sua experiência com a tecnologia.
“O aluno Phantom queria ver se conseguiria criar um aplicativo útil por meio de codificação de vibração autoidentificada, sem qualquer experiência anterior”, diz Niss. “Neste projeto, eu queria entender como sua percepção da IA mudou ao longo do tempo com o uso. Ambos queríamos entender melhor onde e como a IA poderia ser usada por usuários não técnicos nas forças armadas.”
Lynch decidiu ver se, começando sem habilidades de codificação e usando chatbots, ele poderia criar um aplicativo específico para seu tipo de equipe tática para ajudar a reduzir danos colaterais e, ao mesmo tempo, aumentar a capacidade de sobrevivência na missão mais ampla. Esta aplicação ofereceria capacidades incluindo reconhecimento de alvos assistido por IA; inteligência modular, vigilância e reconhecimento; golpe autônomo; e gerenciamento de comunicação no campo de batalha.
Durante o projeto, Lynch concluiu vários cursos de desenvolvimento profissional em IA e familiarizou-se com os usos militares e não militares da tecnologia. Como base para sua geração de código, ele usou os modelos pagos de três chatbots de IA: Claude da Anthropic, ChatGPT da OpenAI e Gemini do Google. A maior parte deste trabalho foi feita apenas através da função principal de chat dos chatbots num navegador net, e não como um sistema integrado dentro de um ambiente de desenvolvimento, como é padrão agora. A aplicação remaining foi produzida utilizando o Google AI Studio App, que pode criar aplicações que fazem interface com a interface de programação de aplicações Gemini e possui IA integrada no ambiente de desenvolvimento.
Durante três meses, Lynch trabalhou com esses modelos para construir seu aplicativo, chamado Distant Working Modular Augmentation Machine (ROMAD-AI). Durante esse tempo, ele aprendeu vários métodos para melhorar a saída do código. Por exemplo, ele frequentemente encontrava dificuldades com os chatbots de IA sem foco hierárquico e modificando seções de código não relacionadas. Ele descobriu que period importante dividir os problemas em pequenas partes, enquadrar as questões com clareza e direcionar as conversas de volta ao tópico quando elas se afastassem muito do objetivo.
Aprender a reconhecer as limitações dos chatbots e contorná-las de forma eficaz ocupou a maior parte do cronograma do projeto. À medida que Lynch ganhou mais experiência com os chatbots, as limitações nas capacidades de IA e no tempo de desenvolvimento fizeram com que ele redefinisse o escopo do projeto, passando-o de um aplicativo que poderia ajudar no campo de batalha para um que pudesse realizar processamento básico de documentos, como análise de mapas táticos de campos de batalha e geração de documentos de planejamento de missão por meio de uma interface com um chatbot com tecnologia VLM. Embora o protótipo resultante não executasse todos os recursos que Lynch originalmente pretendia incluir (e em sua iteração atual não fosse seguro para o caso de uso desejado), ele provou a capacidade e a utilidade de tal aplicativo para membros do serviço.
“Fiquei bastante impressionado com este produto remaining e ele me mostrou o quão poderosos esses sistemas podem ser na prototipagem de projetos de não especialistas”, diz Niss. “Agora sou da opinião de que estas podem ser ferramentas poderosas para especialistas não técnicos transmitirem problemas e possíveis soluções a especialistas técnicos e ajudarem na comunicação dos resultados desejados.”
Niss observou a mudança na perspectiva de Lynch sobre os modelos de linguagem de IA durante sua experiência. Depois de começar com um objetivo impressionante, Lynch compreendeu as capacidades da tecnologia atual e reduziu significativamente as suas expectativas no remaining do período do projeto. As medidas de suas percepções dos diferentes sistemas de IA ao longo do tempo e nas atualizações do sistema foram particularmente interessantes para Lynch e Niss, com Claude mostrando mais estabilidade do que ChatGPT em características como simpatia, antropomorfismo e inteligência percebida. Lynch considerou a IA um tutor útil, mas notou suas imprecisões em tópicos que conhecia bem.
O projeto mostrou que os chatbots de IA podem capacitar membros não técnicos do serviço a produzir aplicações de software program viáveis para os seus problemas específicos, embora funcionem melhor como assistente de prototipagem do que como ferramenta de produção completa ao lidar com informações confidenciais e para aplicações críticas. A verificação inadequada do código pode levar a riscos de segurança, como demonstrado por um caso em que Lynch não percebeu que o aplicativo remaining estava enviando os documentos de entrada para um modelo Gemini AI para análise, em vez de analisar os documentos localmente em seu computador. Embora a IA possa gerar quantidades significativas de código funcional, a revisão de código continua a ser um gargalo neste espaço.
“Para mim, este projeto reforçou a distância entre especialistas em diferentes áreas”, diz Niss. “Não importa quão boa seja a IA, acho que sempre precisaremos colaborar para chegar às melhores soluções para os problemas mais importantes.”
A pesquisa foi patrocinada pelo Acelerador de Inteligência Synthetic do Departamento da Força Aérea e foi realizada sob o Acordo Cooperativo Número FA8750-19-2-1000.