A ambiguidade na imagem médica pode apresentar grandes desafios para os médicos que estão tentando identificar doenças. Por exemplo, em um radiografia de tórax, derrame pleural, um acúmulo anormal de fluido nos pulmões, pode parecer muito parecido com infiltrados pulmonares, que são acumulações de pus ou sangue.
Um modelo de inteligência synthetic pode ajudar o clínico na análise de raios-X, ajudando a identificar detalhes sutis e aumentar a eficiência do processo de diagnóstico. Mas como muitas condições possíveis podem estar presentes em uma imagem, o clínico provavelmente desejaria considerar um conjunto de possibilidades, em vez de apenas ter uma previsão de IA para avaliar.
Uma maneira promissora de produzir um conjunto de possibilidades, chamada de classificação conforme, é conveniente porque pode ser prontamente implementada sobre um modelo de aprendizado de máquina existente. No entanto, pode produzir conjuntos impraticáveis.
Os pesquisadores do MIT agora desenvolveram uma melhoria simples e eficaz que pode reduzir o tamanho dos conjuntos de previsões em até 30 %, além de tornar as previsões mais confiáveis.
Ter um conjunto de previsão menor pode ajudar um clínico a se concentrar no diagnóstico certo com mais eficiência, o que poderia melhorar e otimizar o tratamento para os pacientes. Esse método pode ser útil em uma variedade de tarefas de classificação – digamos, para identificar as espécies de um animal em uma imagem de um parque de vida selvagem – pois fornece um conjunto menor, mas mais preciso, de opções.
“Com menos aulas a serem consideradas, os conjuntos de previsões são naturalmente mais informativos, pois você está escolhendo entre menos opções. Em certo sentido, você não está realmente sacrificando nada em termos de precisão por algo mais informativo”, diz Divya Shanmugam Phd ’24, um estudante de pós -pós -doc.
Shanmugam se junta ao papel por Helen Lu ’24; Swami Sankaranarayanan, um ex -pós -doutorado do MIT que agora é cientista de pesquisa da Lilia Biosciences; e o autor sênior John Guttag, professor de ciência da computação e engenharia elétrica de Dugald C. Jackson no MIT e membro do Laboratório de Ciência da Computação e Ciência da Computação do MIT (CSAIL). A pesquisa será apresentada na conferência sobre visão computacional e reconhecimento de padrões em junho.
Garantias de previsão
Os assistentes de IA implantados para tarefas de alto risco, como classificar doenças em imagens médicas, são normalmente projetadas para produzir uma pontuação de probabilidade junto com cada previsão para que um usuário possa avaliar a confiança do modelo. Por exemplo, um modelo pode prever que há 20 % de likelihood de uma imagem corresponder a um diagnóstico específico, como a pleurisia.
Mas é difícil confiar na confiança prevista de um modelo, porque muitas pesquisas anteriores mostraram que essas probabilidades podem ser imprecisas. Com a classificação conforme, a previsão do modelo é substituída por um conjunto dos diagnósticos mais prováveis, juntamente com a garantia de que o diagnóstico correto está em algum lugar do conjunto.
Mas a incerteza inerente nas previsões de IA geralmente faz com que o modelo seja necessário para serem úteis demais para serem úteis.
Por exemplo, se um modelo estiver classificando um animal em uma imagem como uma das 10.000 espécies em potencial, poderá gerar um conjunto de 200 previsões para que possa oferecer uma forte garantia.
“São algumas aulas para alguém peneirar para descobrir qual é a classe certa”, diz Shanmugam.
A técnica também pode não ser confiável porque pequenas alterações nas entradas, como girar levemente uma imagem, podem produzir conjuntos de previsões totalmente diferentes.
Para tornar a classificação conforme mais útil, os pesquisadores aplicaram uma técnica desenvolvida para melhorar a precisão dos modelos de visão computacional denominada aumento no tempo de teste (TTA).
O TTA cria múltiplos aumentos de uma única imagem em um conjunto de dados, talvez cortando a imagem, lançando -a, ampliando o zoom and so on. Em seguida, aplica um modelo de visão computacional a cada versão da mesma imagem e agrega suas previsões.
“Dessa forma, você obtém várias previsões de um único exemplo. A agregação de previsões dessa maneira melhora as previsões em termos de precisão e robustez”, explica Shanmugam.
Maximizar a precisão
Para aplicar o TTA, os pesquisadores sustentam alguns dados de imagem rotulados usados para o processo de classificação conforme. Eles aprendem a agregar os aumentos nesses dados retidos, aumentando automaticamente as imagens de uma maneira que maximiza a precisão das previsões do modelo subjacente.
Em seguida, eles executam classificação conforme nas novas previsões transformadas em TTA do modelo. O classificador conforme produz um conjunto menor de previsões prováveis para a mesma garantia de confiança.
“A combinação de aumento no tempo de teste com previsão conforme é simples de implementar, eficaz na prática e não requer reciclagem de modelos”, diz Shanmugam.
Comparado ao trabalho anterior em previsão conforme em vários benchmarks de classificação de imagens padrão, seu método de agosto de TTA reduziu os tamanhos de previsão entre os experimentos, de 10 a 30 %.
É importante ressaltar que a técnica alcança essa redução no tamanho do conjunto de previsão, mantendo a garantia de probabilidade.
Os pesquisadores também descobriram que, embora estivessem sacrificando alguns dados rotulados que normalmente seriam usados para o procedimento de classificação conforme, o TTA aumenta a precisão o suficiente para superar o custo de perder esses dados.
“Isso levanta questões interessantes sobre como usamos dados rotulados após o treinamento do modelo. A alocação de dados rotulados entre diferentes etapas pós-treinamento é uma direção importante para trabalhos futuros”, diz Shanmugam.
No futuro, os pesquisadores desejam validar a eficácia de tal abordagem no contexto de modelos que classificam o texto em vez de imagens. Para melhorar ainda mais o trabalho, os pesquisadores também estão considerando maneiras de reduzir a quantidade de computação necessária para o TTA.
Esta pesquisa é financiada, em parte, pela Wistrom Company.