Anotar regiões de interesse em imagens médicas, um processo conhecido como segmentação, é frequentemente uma das primeiras etapas que os pesquisadores clínicos tomam ao executar um novo estudo envolvendo imagens biomédicas.
Por exemplo, para determinar como o tamanho do hipocampo do cérebro muda à medida que os pacientes envelhecem, o cientista descreve primeiro cada hipocampo em uma série de varreduras cerebrais. Para muitas estruturas e tipos de imagem, esse geralmente é um processo guide que pode ser extremamente demorado, especialmente se as regiões estudadas forem desafiadoras para delinear.
Para otimizar o processo, os pesquisadores do MIT desenvolveram um sistema baseado em inteligência synthetic que permite que um pesquisador segmate rapidamente novos conjuntos de dados de imagem biomédica clicando, rabiscando e desenhando caixas nas imagens. Esse novo modelo de IA usa essas interações para prever a segmentação.
À medida que o usuário marca imagens adicionais, o número de interações de que eles precisam para executar diminuições, eventualmente caindo para zero. O modelo pode então segmentar cada nova imagem com precisão sem entrada do usuário.
Pode fazer isso porque a arquitetura do modelo foi especialmente projetada para usar informações de imagens que ele já segmentou para fazer novas previsões.
Ao contrário de outros modelos de segmentação de imagem médica, esse sistema permite ao usuário segmentar um conjunto de dados inteiro sem repetir seu trabalho para cada imagem.
Além disso, a ferramenta interativa não requer um conjunto de dados de imagem pré-segmentado para treinamento, para que os usuários não precisem de conhecimento de aprendizado de máquina ou extensos recursos computacionais. Eles podem usar o sistema para uma nova tarefa de segmentação sem recorrer o modelo.
A longo prazo, essa ferramenta pode acelerar estudos de novos métodos de tratamento e reduzir o custo de ensaios clínicos e pesquisas médicas. Também poderia ser usado pelos médicos para melhorar a eficiência de aplicações clínicas, como o planejamento do tratamento de radiação.
“Muitos cientistas podem ter apenas tempo para segmentar algumas imagens por dia para sua pesquisa, porque a segmentação guide de imagens é muito demorada. Nossa esperança é que esse sistema permitirá uma nova ciência, permitindo que os pesquisadores clínicos conduzissem estudos que eles foram proibidos de fazer antes da falta de uma ferramenta eficiente”, diz Hallee Wong, um aluno de engenharia elétrica e graduação em ciências papel sobre esta nova ferramenta.
Ela se junta ao jornal de Jose Javier Gonzalez Ortiz PhD ’24; John Guttag, professor de ciência da computação e engenharia elétrica de Dugald C. Jackson; e o autor sênior Adrian Dalca, professor assistente da Harvard Medical Faculty e MGH e cientista de pesquisa no MIT Ciência da Computação e Laboratório de Inteligência Synthetic (CSAIL). A pesquisa será apresentada na Conferência Internacional sobre Visão Computacional.
Racionalização da segmentação
Existem principalmente dois métodos que os pesquisadores usam para segmentar novos conjuntos de imagens médicas. Com a segmentação interativa, eles inseram uma imagem em um sistema de IA e usam uma interface para marcar áreas de interesse. O modelo prevê a segmentação com base nessas interações.
Uma ferramenta anteriormente desenvolvida pelos pesquisadores do MIT, ScriblePromptpermite que os usuários façam isso, mas devem repetir o processo para cada nova imagem.
Outra abordagem é desenvolver um modelo de IA específico para tarefas para segmentar automaticamente as imagens. Essa abordagem exige que o usuário segmate manualmente centenas de imagens para criar um conjunto de dados e, em seguida, treinar um modelo de aprendizado de máquina. Esse modelo prevê a segmentação para uma nova imagem. Mas o usuário deve iniciar o processo complexo baseado em aprendizado de máquina do zero para cada nova tarefa, e não há como corrigir o modelo se ele cometer um erro.
Este novo sistema, Multiversegcombina o melhor de cada abordagem. Ele prevê uma segmentação para uma nova imagem baseada em interações do usuário, como rabiscos, mas também mantém cada imagem segmentada em um conjunto de contexto que se refere posteriormente.
Quando o usuário envia uma nova imagem e marca áreas de interesse, o modelo se baseia nos exemplos em seu contexto definido para fazer uma previsão mais precisa, com menos entrada do usuário.
Os pesquisadores projetaram a arquitetura do modelo para usar um conjunto de contexto de qualquer tamanho, para que o usuário não exact ter um certo número de imagens. Isso oferece à MultIVEREG a flexibilidade de ser usada em uma variedade de aplicativos.
“Em algum momento, para muitas tarefas, você não precisa fornecer nenhuma interação. Se você tiver exemplos suficientes no conjunto de contexto, o modelo poderá prever com precisão a segmentação por conta própria”, diz Wong.
Os pesquisadores projetaram e treinaram cuidadosamente o modelo em uma coleção diversificada de dados de imagem biomédica para garantir que ele tivesse a capacidade de melhorar gradualmente suas previsões com base na entrada do usuário.
O usuário não precisa treinar ou personalizar o modelo para seus dados. Para usar o MultIVEREG para uma nova tarefa, pode -se fazer add de uma nova imagem médica e começar a marcá -la.
Quando os pesquisadores compararam o MultIVEREG às ferramentas de última geração para segmentação de imagens no contexto e interativa, ele superou cada linha de base.
Menos cliques, melhores resultados
Ao contrário dessas outras ferramentas, o MultIVEREG requer menos entrada do usuário com cada imagem. Na nona nova imagem, precisava de apenas dois cliques do usuário para gerar uma segmentação mais precisa do que um modelo projetado especificamente para a tarefa.
Para alguns tipos de imagem, como raios-X, o usuário pode precisar apenas segmentar uma ou duas imagens manualmente antes que o modelo se torne preciso o suficiente para fazer previsões por conta própria.
A interatividade da ferramenta também permite que o usuário faça correções com a previsão do modelo, iterando até atingir o nível de precisão desejado. Comparado ao sistema anterior dos pesquisadores, o Multiverseg atingiu uma precisão de 90 % com aproximadamente 2/3 do número de rabiscos e 3/4 do número de cliques.
“Com o MultIVEREG, os usuários sempre podem fornecer mais interações para refinar as previsões da IA. Isso ainda acelera drasticamente o processo, porque geralmente é mais rápido corrigir algo que existe do que começar do zero”, diz Wong.
No futuro, os pesquisadores desejam testar essa ferramenta em situações do mundo actual com colaboradores clínicos e melhorá-la com base no suggestions do usuário. Eles também desejam permitir que o MultIVEREG segmente imagens biomédicas 3D.
Este trabalho é apoiado, em parte, pela Quanta Pc, Inc. e pelo Nationwide Institutes of Well being, com o suporte de {hardware} do Massachusetts Life Sciences Heart.