No nordeste dos Estados Unidos, o Golfo do Maine representa um dos ecossistemas marinhos mais biologicamente diversos do planeta – lar de baleias, tubarões, água -viva, arenque, plâncton e centenas de outras espécies. Mas, mesmo quando esse ecossistema apóia a rica biodiversidade, está passando por uma rápida mudança ambiental. O Golfo do Maine está aquecendo mais rápido que 99 % dos oceanos do mundo, com consequências que ainda estão se desenrolando.
Uma nova iniciativa de pesquisa em desenvolvimento no MIT Sea Grant, chamada Lobstger – abrevante para aprender sistemas bioecológicos oceânicos por meio de representações generativas – reúne inteligência synthetic e fotografia subaquática para documentar a vida oceânica deixada vulnerável a essas mudanças e compartilhá -las com o público de novas maneiras visuais. Co-liderado pelo fotógrafo subaquático e artista visitante do MIT Sea Grant Keith Ellenbogen e MIT Engineering Mechanical Pupil Andreas Mentzelopoulos, o projeto explora como a IA generativa pode expandir a narrativa científica construindo dados fotográficos baseados em campo.
Assim como a câmera do século XIX transformou nossa capacidade de documentar e revelar o mundo natural-capturando a vida com detalhes sem precedentes e trazendo para a vista ambientes distantes ou ocultos-a IA generativa marca uma nova fronteira na narrativa visible. Como a fotografia precoce, a IA abre um espaço criativo e conceitual, desafiando como definimos a autenticidade e como comunicamos perspectivas científicas e artísticas.
No projeto Lobstger, os modelos generativos são treinados exclusivamente em uma biblioteca com curadoria das fotografias subaquáticas originais de Ellenbogen – cada imagem criada com intenção artística, precisão técnica, identificação precisa das espécies e contexto geográfico claro. Ao construir um conjunto de dados de alta qualidade fundamentado em observações do mundo actual, o projeto garante que as imagens resultantes mantenham a integridade visible e a relevância ecológica. Além disso, os modelos de Lobstger são construídos usando o código personalizado desenvolvido pela Mentzelopoulos para proteger o processo e as saídas de possíveis vieses de dados ou modelos externos. A IA generativa de Lobstger se baseia em fotografia actual, expandindo o vocabulário visible dos pesquisadores para aprofundar a conexão do público com o mundo pure.
Esta imagem do peixe -oceano (Mola Mola) foi gerado pelos modelos incondicionais de Lobstger.
Imagem gerada pela IA: Keith Ellenbogen, Andreas Mentzelopoulos e Lobstger.
No seu coração, Lobstger opera no cruzamento de arte, ciência e tecnologia. O projeto se baseia na linguagem visible da fotografia, no rigor observacional da ciência marinha e no poder computacional da IA generativa. Ao unir essas disciplinas, a equipe não está apenas desenvolvendo novas maneiras de visualizar a vida oceânica – elas também estão reimaginando como as histórias ambientais podem ser contadas. Essa abordagem integrativa faz do lobstger uma ferramenta de pesquisa e um experimento criativo-que reflete a longa tradição do MIT de inovação interdisciplinar.
A fotografia subaquática nas águas costeiras da Nova Inglaterra é notoriamente difícil. Visibilidade limitada, sedimentos em turbilhão, bolhas e o movimento imprevisível da vida marinha, todos apresentam desafios constantes. Nos últimos anos, Ellenbogen navegou nesses desafios e está construindo um registro abrangente da biodiversidade da região através do projeto, espaço para mar: visualizando o deserto oceânico da Nova Inglaterra. Esse grande conjunto de dados de imagens subaquáticas fornece a base para os modelos generativos de IA do treinamento em lobstger. As imagens abrangem diversas ângulos, condições de iluminação e comportamentos de animais, resultando em um arquivo visible que é impressionante artisticamente e biologicamente preciso.
Síntese de imagem through difusão reversa: Este pequeno vídeo mostra a trajetória de desmontagem do ruído latente gaussiano para a saída fotorrealista usando os modelos incondicionais do Lobstger. A desmontagem iterativa requer 1.000 passes para a frente através da rede neural treinada.
Vídeo: Keith Ellenbogen e Andreas Mentzelopoulos / MIT Sea Grant
Os modelos de difusão personalizados do Lobstger são treinados para replicar não apenas os documentos da biodiversidade Ellenbogen, mas também o estilo artístico que ele usa para capturá -lo. Ao aprender com milhares de imagens subaquáticas reais, os modelos internalizam detalhes finos, como gradientes de iluminação pure, coloração específica da espécie e até a textura atmosférica criada por partículas suspensas e luz photo voltaic refratada. O resultado são imagens que não apenas parecem visualmente precisas, mas também parecem imersivas e emocionantes.
Os modelos podem gerar imagens novas, sintéticas e cientificamente precisas incondicionalmente (ou seja, não exigindo entrada/orientação do usuário) e aprimorar fotografias reais condicionalmente (ou seja, geração de imagem para imagem). Ao integrar a IA no fluxo de trabalho fotográfico, a Ellenbogen poderá usar essas ferramentas para recuperar detalhes em água turva, ajustar a iluminação para enfatizar os principais sujeitos ou até simular cenas que seriam quase impossíveis de capturar no campo. A equipe também acredita que essa abordagem pode beneficiar outros fotógrafos subaquáticos e editores de imagens que enfrentam desafios semelhantes. Esse método híbrido foi projetado para acelerar o processo de curadoria e permitir que os contadores de histórias construam uma narrativa visible mais completa e coerente da vida abaixo da superfície.
Esquerda: Imagem aprimorada de uma lagosta americana usando os modelos de imagem para imagem de Lobstger. Direita: imagem authentic.
Esquerda: AI Generated Picture por Keith Ellenbogen, Andreas Mentzelopoulos e Lobstger. Direita: Keith Ellenbogen
Em uma série-chave, Ellenbogen capturou imagens de alta resolução da água-viva de leão, tubarões azuis, lagostas americanas e peixes-sol oceanos (Mola mola) enquanto mergulho livre em águas costeiras. “Obter um conjunto de dados de alta qualidade não é fácil”, diz Ellenbogen. “Isso requer vários mergulhos, oportunidades perdidas e condições imprevisíveis. Mas esses desafios fazem parte do que torna a documentação subaquática difícil e gratificante”.
A Mentzelopoulos desenvolveu código authentic para treinar uma família de modelos de difusão latente para o lobstger fundamentado nas imagens de Ellenbogen. O desenvolvimento desses modelos requer um alto nível de experiência técnica, e os modelos de treinamento do zero é um processo complexo que exige centenas de horas de computação e ajuste meticuloso hiperparâmetro.
O projeto reflete um processo paralelo: documentação de campo por meio de fotografia e desenvolvimento de modelos por meio de treinamento iterativo. Ellenbogen trabalha no campo, capturando encontros raros e fugazes com animais marinhos; Mentzelopoulos trabalha no laboratório, traduzindo esses momentos em contextos de aprendizado de máquina que podem estender e reinterpretar a linguagem visible do oceano.
“O objetivo não é substituir a fotografia”, diz Mentzelopoulos. “É para construí-lo e complementá-lo-tornando o invisível visível e ajudar as pessoas a ver a complexidade ambiental de uma maneira que ressoa emocional e intelectualmente. Nossos modelos pretendem capturar não apenas o realismo biológico, mas a acusação emocional que pode impulsionar o envolvimento e a ação do mundo actual.” “
Lobstger aponta para um futuro híbrido que mescla a observação direta com a interpretação tecnológica. O objetivo de longo prazo da equipe é desenvolver um modelo abrangente que possa visualizar uma ampla gama de espécies encontradas no Golfo do Maine e, eventualmente, aplicar métodos semelhantes aos ecossistemas marinhos em todo o mundo.
Os pesquisadores sugerem que a fotografia e a IA generativa formam um continuum, em vez de um conflito. A fotografia captura o que é – a textura, a luz e o comportamento animal durante os encontros reais – enquanto a IA estende essa visão além do que é visto, para o que poderia ser entendido, inferido ou imaginado com base em dados científicos e visão artística. Juntos, eles oferecem uma estrutura poderosa para comunicar a ciência através da criação de imagens.
Em uma região em que os ecossistemas estão mudando rapidamente, o ato de visualizar se torna mais do que apenas documentação. Torna -se uma ferramenta para conscientização, engajamento e, finalmente, conservação. O Lobstger ainda está em sua infância, e a equipe espera compartilhar mais descobertas, imagens e insights à medida que o projeto evolui.
Resposta da imagem principal: A imagem esquerda foi gerada usando os modelos incondicionais do Lobstger e a imagem direita é actual.
Para mais informações, entre em contato Keith Ellenbogen e Andreas Mentzelopoulos.