Voltando mais perto dos dias atuais, encontramos o desenvolvimento comercial da AI Beholden para “A lição amarga. ” Depois que o CUDA da NVIDIA permitiu operações eficientes tensoras em GPUs e redes profundas como a Alexnet, impulsionou o progresso sem precedentes em campos variados, os métodos anteriormente diversos que competem pelo domínio em benchmarks de aprendizado de máquina homogeneizado Para jogar mais computação no aprendizado profundo.
Talvez não exista um exemplo maior da lição amarga do que grandes modelos de linguagemque exibiu recursos emergentes incríveis com a escala na última década. Poderíamos realmente alcançar a inteligência geral synthetic (AGI), isto é, sistemas no valor das representações arquetípicas da IA vistas em Blade Runner ou 2001: uma odisseia espacialsimplesmente adicionando mais parâmetros a esses LLMs e mais GPUs aos clusters em que estão treinados?
Meu trabalho na UCSD foi baseado na crença de que essa escala não levaria a uma verdadeira inteligência. E, como vimos nos relatórios recentes dos principais laboratórios de IA como Openai e luminárias como François Chollet, a maneira como estamos nos aproximando do aprendizado profundo atingiu uma parede. “Agora todo mundo está procurando a próxima grande novidade”, coloca Sutskever apropriadamente. É possível que, com técnicas como aplicar o aprendizado de reforço ao LLMS à LA Openai’s O3, estamos ignorando a sabedoria da lição amarga (embora essas técnicas sejam indubitavelmente intensivas em computação)? E se procurássemos entender uma “teoria de tudo” para aprender e depois dobrar isso?
Temos que desconstruir e depois reconstruir, como os modelos de IA são treinados
Em vez de aproximações de caixa preta, na UCSD, desenvolvemos um avanço tecnologia Isso entende como as redes neurais realmente aprendem. Os modelos de aprendizado profundo apresentam neurônios artificiais vagamente semelhantes aos nossos, filtrando dados através deles e depois apoiando -os de volta para aprender recursos nos dados (o último passo é estranho à biologia). É esse mecanismo de aprendizado de recursos que impulsiona o sucesso da IA em áreas tão díspares quanto finanças e saúde.