Muitos desafios de engenharia se resumem à mesma dor de cabeça: muitos botões para girar e poucas possibilities de testá-los. Seja ajustando uma rede elétrica ou projetando um veículo mais seguro, cada avaliação pode ser cara e pode haver centenas de variáveis que podem ser importantes.
Considere o design de segurança do carro. Os engenheiros devem integrar milhares de peças, e muitas opções de projeto podem afetar o desempenho de um veículo em uma colisão. As ferramentas clássicas de otimização podem começar a ter dificuldades na busca pela melhor combinação.
Os pesquisadores do MIT desenvolveram uma nova abordagem que repensa como um método clássico, conhecido como otimização Bayesiana, pode ser usado para resolver problemas com centenas de variáveis. Em testes de benchmarks realistas de estilo de engenharia, como otimização de sistemas de energia, a abordagem encontrou soluções de ponta 10 a 100 vezes mais rápidas do que métodos amplamente utilizados.
Sua técnica aproveita um modelo básico treinado em dados tabulares que identifica automaticamente as variáveis mais importantes para melhorar o desempenho, repetindo o processo para aprimorar soluções cada vez melhores. Os modelos básicos são enormes sistemas de inteligência synthetic treinados em vastos conjuntos de dados gerais. Isso permite que eles se adaptem a diferentes aplicações.
O modelo de base tabular dos pesquisadores não precisa ser constantemente retreinado, pois trabalha em direção a uma solução, aumentando a eficiência do processo de otimização. A técnica também proporciona maior velocidade para problemas mais complicados, por isso pode ser especialmente útil em aplicações exigentes, como desenvolvimento de materiais ou descoberta de medicamentos.
“Os modelos modernos de IA e de aprendizado de máquina podem mudar fundamentalmente a maneira como engenheiros e cientistas criam sistemas complexos. Criamos um algoritmo que pode não apenas resolver problemas de alta dimensão, mas também é reutilizável para que possa ser aplicado a muitos problemas sem a necessidade de começar tudo do zero”, diz Rosen Yu, estudante de graduação em ciência da computação e engenharia e autor principal de um livro. artigo sobre esta técnica.
Yu é acompanhado no artigo por Cyril Picard, ex-pós-doutorado e pesquisador do MIT, e Faez Ahmed, professor associado de engenharia mecânica e membro principal do Centro de Ciência e Engenharia Computacional do MIT. A pesquisa será apresentada na Conferência Internacional sobre Representações de Aprendizagem.
Melhorando um método comprovado
Quando os cientistas procuram resolver um problema multifacetado, mas dispõem de métodos caros para avaliar o sucesso, como testar um carro para saber quão bom é cada projeto, eles geralmente usam um método testado e comprovado chamado otimização bayesiana. Este método iterativo encontra a melhor configuração para um sistema complicado, construindo um modelo substituto que ajuda a estimar o que explorar em seguida, considerando a incerteza de suas previsões.
Mas o modelo substituto deve ser treinado novamente após cada iteração, o que pode rapidamente tornar-se computacionalmente intratável quando o espaço de soluções potenciais é muito grande. Além disso, os cientistas precisam construir um novo modelo do zero sempre que quiserem enfrentar um cenário diferente.
Para resolver ambas as deficiências, os pesquisadores do MIT utilizaram um sistema generativo de IA conhecido como modelo de base tabular como modelo substituto dentro de um algoritmo de otimização bayesiano.
“Um modelo de base tabular é como um ChatGPT para planilhas. A entrada e a saída desses modelos são dados tabulares, que no domínio da engenharia são muito mais comuns de ver e usar do que na linguagem”, diz Yu.
Assim como grandes modelos de linguagem como ChatGPT, Claude e Gemini, o modelo foi pré-treinado em uma enorme quantidade de dados tabulares. Isso o torna bem equipado para lidar com uma série de problemas de previsão. Além disso, o modelo pode ser implantado como está, sem a necessidade de qualquer retreinamento.
Para tornar seu sistema mais preciso e eficiente para otimização, os pesquisadores empregaram um truque que permite ao modelo identificar características do espaço de design que terão o maior impacto na solução.
“Um carro pode ter 300 critérios de design, mas nem todos eles são os principais impulsionadores do melhor design se você estiver tentando aumentar alguns parâmetros de segurança. Nosso algoritmo pode selecionar de forma inteligente os recursos mais críticos nos quais focar”, diz Yu.
Isso é feito usando um modelo de base tabular para estimar quais variáveis (ou combinações de variáveis) mais influenciam o resultado.
Em seguida, concentra a pesquisa nessas variáveis de alto impacto, em vez de perder tempo explorando tudo igualmente. Por exemplo, se o tamanho da zona de deformação dianteira aumentasse significativamente e a classificação de segurança do carro melhorasse, esse recurso provavelmente desempenhou um papel na melhoria.
Problemas maiores, soluções melhores
Um dos seus maiores desafios foi encontrar o melhor modelo de base tabular para esta tarefa, diz Yu. Em seguida, eles tiveram que conectá-lo a um algoritmo de otimização bayesiano de forma que pudesse identificar os recursos de design mais importantes.
“Encontrar a dimensão mais proeminente é um problema bem conhecido em matemática e ciência da computação, mas encontrar uma maneira que aproveitasse as propriedades de um modelo de base tabular foi um verdadeiro desafio”, diz Yu.
Com a estrutura algorítmica implementada, os pesquisadores testaram seu método comparando-o com cinco algoritmos de otimização de última geração.
Em 60 problemas de benchmark, incluindo situações realistas como projeto de redes elétricas e testes de colisão de automóveis, seu método encontrou consistentemente a melhor solução entre 10 e 100 vezes mais rápido que os outros algoritmos.
“Quando um problema de otimização ganha cada vez mais dimensões, nosso algoritmo realmente brilha”, acrescentou Yu.
Mas o método deles não superou as linhas de base em todos os problemas, como o planejamento de caminhos robóticos. Isto provavelmente indica que o cenário não estava bem definido nos dados de treinamento do modelo, diz Yu.
No futuro, os pesquisadores querem estudar métodos que possam aumentar o desempenho de modelos de fundação tabular. Eles também querem aplicar sua técnica a problemas com milhares ou até milhões de dimensões, como o projeto de um navio de guerra.
“A um nível superior, este trabalho aponta para uma mudança mais ampla: a utilização de modelos básicos não apenas para a percepção ou a linguagem, mas como motores algorítmicos dentro de ferramentas científicas e de engenharia, permitindo que métodos clássicos como a otimização bayesiana sejam dimensionados para regimes que antes eram impraticáveis”, diz Ahmed.
“A abordagem apresentada neste trabalho, usando um modelo de base pré-treinado junto com a otimização Bayesiana de alta dimensão, é uma maneira criativa e promissora de reduzir os pesados requisitos de dados do projeto baseado em simulação. No geral, este trabalho é um passo prático e poderoso para tornar a otimização de projeto avançada mais acessível e mais fácil de aplicar em ambientes do mundo actual, “diz Wei Chen, professor Wilson-Prepare dinner em Design de Engenharia e presidente do Departamento de Engenharia Mecânica da Northwestern College, que não esteve envolvido nesta pesquisa.