“Não tenho mais que dirigir um símbolo de racismo, ganância e ignorância! A vida é de repente muito melhor!”
– A ator Bette Middler expressa sua alegria em vender sua Tesla, Insider Relatórios.
A grande história
Modelos de idiomas grandes podem fazer coisas de cair o queixo. Mas ninguém sabe exatamente o porquê.
Dois anos atrás, Yuri Burda e Harri Edwards, pesquisadores do Openai, estavam tentando descobrir o que seria necessário para obter um grande modelo de linguagem para fazer aritmética básica. No começo, as coisas não correram muito bem. Os modelos memorizaram as somas que viram, mas não resolveram novos.
Por acidente, Burda e Edwards deixaram alguns de seus experimentos correndo por dias, em vez de horas. Os modelos foram mostrados o exemplo de somas repetidas vezes e, eventualmente, aprenderam a adicionar dois números – levou muito mais tempo do que qualquer um achava que deveria.
Em certos casos, os modelos aparentemente podem deixar de aprender uma tarefa e, de repente, obtê -lo, como se uma lâmpada tivesse ligado, um comportamento que os pesquisadores chamavam de Grokking. Grokking é apenas um dos vários fenômenos estranhos que os pesquisadores de IA arranham a cabeça. Os maiores modelos, e grandes modelos de idiomas em specific, parecem se comportar de maneiras de livros didáticos Math diz que não deveriam.
Isso destaca um fato notável sobre o aprendizado profundo, a tecnologia basic por trás do growth da AI de hoje: para todo o seu sucesso descontrolado, ninguém sabe exatamente como – ou por que – funciona. Leia a história completa.
– Céu de Douglas
Ainda podemos ter coisas boas
Um lugar para conforto, diversão e distração para iluminar o seu dia. (Tem alguma idéia? Me mande uma linha ou Skeet para mim.)
+ O que aconteceu quando Wham! Levou a música pop ocidental para a China há 40 anos.
+ Quem sabia disso tubarões fazem barulhos afinal? 🦈
+ A Microsoft está comemorando seu 50º aniversário, e com ele, 50 invenções seriamente estranhas.
+ O que diabos é um Prototaxitode qualquer forma?