Geração de imagens com recursos limitados e compreensão visible: uma entrevista com Aniket Roy

Na última de nossa série de entrevistas conhecendo o Consórcio Doutoral AAAI/SIGAI participantes, conversamos com Aniket Roy para saber mais sobre sua pesquisa sobre modelos generativos para tarefas de visão computacional.

Conte-nos um pouco sobre seu doutorado – onde você estudou e qual foi o tema de sua pesquisa?

Recentemente concluí meu doutorado em Ciência da Computação na Universidade Johns Hopkins, onde trabalhei sob a supervisão do Distinguished Professor Rama Chellappa da Bloomberg. Minha pesquisa se concentrou principalmente no desenvolvimento de métodos para geração de imagens e compreensão visible com recursos limitados. Em specific, explorei como os modelos generativos modernos podem ser adaptados para operar de forma eficiente, mantendo ao mesmo tempo um forte desempenho.

Durante meu doutorado, trabalhei amplamente na interseção entre IA generativa, aprendizagem multimodal e aprendizagem rápida. Grande parte do meu trabalho envolveu o projeto de técnicas que permitem aos modelos aprender novos conceitos ou executar tarefas visuais complexas com dados ou recursos computacionais limitados. Isso incluiu pesquisas sobre modelos de difusão, geração de imagens personalizadas e aprendizagem de representação multimodal. No geral, meu trabalho visa tornar os sistemas avançados de visão e IA generativos mais adaptáveis, eficientes e práticos para aplicações do mundo actual.

Você poderia nos dar uma visão geral da pesquisa que realizou durante seu doutorado?

Durante meu doutorado, minha pesquisa se concentrou amplamente na melhoria da adaptabilidade, eficiência e qualidade de modelos generativos modernos para tarefas de visão computacional. O rápido progresso na IA generativa – particularmente nos modelos de difusão e nos modelos de visão-linguagem – criou novas oportunidades para enfrentar desafios de longa information, como a escassez de dados, a geração controlável e a síntese de imagens personalizadas. Meu trabalho teve como objetivo desenvolver métodos que permitissem que esses grandes modelos se adaptassem de forma eficaz com dados e recursos computacionais limitados, mantendo alta fidelidade visible.

Uma linha da minha pesquisa abordou a aprendizagem em ambientes com restrições de dados. Por exemplo, propus o FeLMi, uma estrutura de aprendizagem rápida que aproveita estratégias de mixagem difícil guiadas pela incerteza para melhorar a robustez e a generalização quando apenas um pequeno número de amostras rotuladas está disponível. Com base nessa ideia de melhorar a qualidade dos dados de treinamento, também desenvolvi o Cap2Aug, que introduz o aumento multimodal guiado por legenda. Esta abordagem utiliza descrições textuais para orientar a geração de imagens sintéticas, melhorando a diversidade visible e reduzindo a lacuna de domínio entre os dados reais e os gerados.

Visão geral do Cap2Aug.

Outro aspecto da minha pesquisa focou na melhoria da qualidade perceptiva das imagens geradas por modelos de difusão. Nessa direção, propus o DiffNat, um método de regularização plug-and-play baseado na propriedade de concentração de curtose observada em imagens naturais. Ao incorporar este princípio em modelos de difusão através de uma perda de KC, as imagens geradas exibem estatísticas de textura mais naturais e melhor realismo perceptivo, o que também beneficia tarefas de visão posteriores.

Grande parte do meu trabalho explorou a personalização e a adaptação eficiente de grandes modelos generativos. Introduzi o DuoLoRA, uma estrutura com parâmetros eficientes para compor adaptadores de baixa classificação que permite controle refinado sobre conteúdo e estilo sem exigir retreinamento completo do modelo básico. Estendi ainda mais a personalização para configurações de disparo zero usando uma abordagem de inversão textual sem treinamento que permite que objetos arbitrários sejam personalizados diretamente durante a geração. Finalmente, propus o MultiLFG, uma estrutura de composição multi-LoRA guiada por frequência que usa representações de domínio wavelet e ponderação com reconhecimento de passo de tempo para permitir a fusão precisa e sem treinamento de vários conceitos em modelos de difusão.

Visão geral do DuoLoRA.

No geral, minha pesquisa contribui para a construção de sistemas generativos que sejam mais eficientes, adaptáveis ​​e controláveis, permitindo a geração e compreensão de imagens de alta qualidade, mesmo em cenários com dados limitados ou com recursos limitados.

Houve algum projeto específico ou aspecto de sua pesquisa que foi particularmente interessante?

Um projeto que achei particularmente interessante durante meu doutorado é o DiffNat, que foi publicado no TMLR 2025. Os modelos de difusão tornaram-se a espinha dorsal de muitos sistemas modernos de IA generativa e alcançaram resultados impressionantes na geração e edição de imagens realistas. No entanto, melhorar a qualidade perceptiva e a naturalidade das imagens geradas continua a ser um desafio importante.

Visão geral do DiffNat.

Neste trabalho, introduzimos uma técnica de regularização simples, mas eficaz, chamada perda de concentração de curtose (KC), que pode ser integrada em pipelines de modelo de difusão padrão como um componente plug-and-play. A ideia foi inspirada em uma propriedade estatística de imagens naturais: quando uma imagem é decomposta em diferentes versões filtradas por passagem de banda – por exemplo, usando a Transformada Wavelet Discreta – os valores de curtose nessas bandas de frequência tendem a ser relativamente consistentes. Em contraste, as imagens geradas muitas vezes mostram grandes discrepâncias entre estas bandas. Nosso método reduz a lacuna entre os valores de curtose mais altos e mais baixos nos componentes de frequência, incentivando as imagens geradas a seguirem estatísticas de imagem mais naturais.

Além disso, introduzimos uma estratégia de orientação perceptual independente da condição durante a inferência que melhora ainda mais a fidelidade da imagem sem a necessidade de sinais de treinamento adicionais. Avaliamos a abordagem em diversas tarefas, incluindo ajuste fino personalizado de poucas fotos com orientação de texto, geração incondicional de imagens, super-resolução de imagens e restauração de rostos cegos. Nessas tarefas, a incorporação da perda de KC e da orientação perceptiva melhorou consistentemente a qualidade perceptiva, medida por meio de métricas como FID e MUSIQ, bem como por meio de avaliação humana.

O que gostei particularmente neste projeto é que ele conecta estatísticas de imagens clássicas com modelos de difusão modernos. Isso mostra que insights estatísticos relativamente simples sobre imagens naturais ainda podem desempenhar um papel poderoso na melhoria de grandes modelos generativos.

Quais são seus planos para desenvolver o doutorado – onde você está trabalhando agora e o que irá investigar a seguir?

Durante meu doutorado, descobri que gosto genuinamente do processo de pesquisa – especialmente no momento em que uma intuição ou ideia funciona na prática. Esse processo de explorar novas ideias e ultrapassar os limites do que sabemos é algo que considero muito motivador.

Para continuar a perseguir isto, juntar-me-ei à NEC Laboratories America como Cientista Investigador. Nesta função, espero desenvolver meu trabalho de doutorado desenvolvendo novos métodos para modelos generativos e explorando como esses modelos podem interagir com sistemas multimodais mais amplos. Em specific, estou interessado em avançar na investigação na intersecção de modelos generativos, modelos de visão-linguagem-acção e IA incorporada. De forma mais ampla, o meu objetivo é contribuir para o desenvolvimento de sistemas inteligentes que possam compreender, gerar e interagir com o mundo visible de forma mais eficaz, ao mesmo tempo que continuo a impulsionar a compreensão científica destes modelos.

Estou interessado em saber como você entrou no campo. O que o inspirou a estudar visão computacional e aprendizado de máquina?

Meu interesse por visão computacional e aprendizado de máquina começou durante a graduação, quando fiz cursos de processamento de sinais e processamento de imagens. Achei esses assuntos particularmente fascinantes porque permitiam experimentar algoritmos e ver imediatamente seus efeitos nas imagens. Esse aspecto visible e intuitivo tornou o campo muito envolvente e me ajudou a compreender como os conceitos matemáticos podem ser traduzidos diretamente em resultados visuais significativos.

Ao mesmo tempo, também fiquei curioso sobre como o cérebro humano processa informações visuais – como somos capazes de reconhecer objetos, compreender cenas e interpretar sinais visuais complexos com tanta facilidade. Essa curiosidade levou-me a pensar se poderíamos conceber modelos computacionais que imitassem aspectos da percepção humana e permitissem às máquinas compreender os dados visuais de forma semelhante.

Uma grande influência durante esse período foi meu professor, Dr. Kuntal Ghosh, que me encorajou a pensar mais profundamente sobre esses problemas e abordá-los com uma mentalidade científica. Sua orientação desempenhou um papel importante na formação do meu interesse pela pesquisa. Desde então, essa curiosidade sobre percepção visible e sistemas inteligentes continuou a impulsionar meu trabalho em visão computacional e aprendizado de máquina.

Qual foi sua experiência no Consórcio de Doutorado da AAAI?

Infelizmente, não pude comparecer pessoalmente ao Consórcio de Doutorado AAAI devido a questões relacionadas ao visto. No entanto, um colega gentilmente ajudou a apresentar meu pôster em meu nome durante o evento. Embora não pudesse estar presente fisicamente, fiquei muito encorajado com a resposta que meu trabalho recebeu. Vários pesquisadores me procuraram depois de ver o pôster, e tivemos algumas discussões muito esclarecedoras sobre as ideias e possíveis direções futuras da pesquisa. Nesse sentido, ainda achei a experiência bastante gratificante. O Doctoral Consortium é uma ótima plataforma para compartilhar ideias iniciais, receber suggestions da comunidade e conectar-se com outros pesquisadores que trabalham em problemas relacionados. Apreciei a oportunidade de interagir com pessoas interessadas no trabalho, e essas interações ajudaram a gerar novas perspectivas e colaborações.

Você poderia nos contar um fato interessante (não relacionado à IA) sobre você?

Fora da pesquisa, sou um grande fã de música e comédia stand-up e gosto muito de viajar sempre que tenho oportunidade. Explorar novos lugares, culturas e perspectivas é algo que considero revigorante – é uma ótima maneira de recarregar as energias e permanecer curioso sobre o mundo além do trabalho. Também gosto de escrever sátiras poéticas de vez em quando e ocasionalmente as apresento. É uma saída criativa e divertida que me permite misturar humor e narrativa, o que é bastante diferente da natureza analítica do trabalho de investigação que costumo fazer.

Sobre Aniket Roy

Aniket é atualmente pesquisadora científica no NEC Labs America. Ele obteve seu doutorado no departamento de Ciência da Computação da Universidade Johns Hopkins sob a orientação do Distinguished Professor da Bloomberg, Prof. Rama Chellappa. Antes disso, ele fez mestrado no Indian Institute of Expertise Kharagpur. Ele foi reconhecido com o Finest Paper Award no IWDW 2016 e o ​​Markose Thomas Memorial Award pelo melhor artigo de pesquisa em nível de mestrado. Durante o doutorado, ele explorou domínios de aprendizagem imediata, aprendizagem multimodal, modelos de difusão, LLMs, LoRA fundindo-se com publicações em locais líderes como NeurIPS, ICCV, TMLR, WACV, CVPR e também 3 patentes nos EUA registradas. Durante seu doutorado, ele também ganhou experiência industrial por meio de vários estágios na Amazon, Qualcomm, MERL e SRI Worldwide. Foi premiado como Amazon Fellow (2023-24) na JHU e selecionado para participar do consórcio de doutorado ICCV’25 e AAAI’26.