Andrej Karpathy na ascensão do software program 3.0

Vamos falar sobre o futuro do software program, e confie em mim, está acontecendo agora! Recentemente, peguei a palestra de Andrej Karpathy na AI Startup Faculty em São Francisco, e uau, tive que compartilhar o que aprendi. Karpathy, que já trabalhou na Tesla, Openai e Stanford, nos deu uma visão privilegiada do Software program 3.0, a próxima grande evolução na programação.

Então, qual é o problema? Simples. A maneira como criamos o software program está mudando de escrever linhas de código para interagir com máquinas através da linguagem pure. Se isso soa selvagem para você, é porque é! E neste publish, vou dividi -lo para você.

A evolução da programação

Software program 1.0: A codificação da velha escola

Essa foi a abordagem tradicional da programação. É isso que a maioria de nós conhece como “codificação”: onde os desenvolvedores escrevem instruções explícitas em linguagens de programação como Python, Java ou C ++ para fazer um computador executar tarefas específicas. O processo é direto: você diz ao computador exatamente o que fazer, passo a passo, em código. Embora isso permaneça essencial para muitas aplicações hoje, ele tem limitações para lidar com tarefas mais complexas que exigem aprendizado e adaptação.

Software program 2.0: Entre no aprendizado de máquina

O aprendizado de máquina entrou em cena e, de repente, não estávamos apenas escrevendo código que disse ao computador o que fazer. Em vez disso, estávamos treinando máquinas usando dados. Foi aqui que as redes neurais começaram a assumir o controle, permitindo que as máquinas aprendam com dados e tomem decisões por conta própria. No Software program 2.0, o objetivo não foi contar ao computador a cada pequeno passo. O objetivo period ensiná -lo a descobrir as etapas por conta própria, reconhecendo padrões nos dados. Isso levou a um progresso inovador em áreas como reconhecimento de imagem, reconhecimento de fala e processamento de linguagem pure. No entanto, esse processo ainda precisava de toneladas de codificação para ajustar a máquina e fazê-lo funcionar corretamente.

Software program 3.0: Programação através da linguagem pure

É aqui que vamos além de escrever linhas de código e começamos a conversar com máquinas. Com modelos de idiomas grandes (LLMs) como o GPT-3, não precisamos mais escrever código. Em vez disso, simplesmente pedimos à máquina que faça o que queremos usando a linguagem pure. É como ter uma conversa com o seu computador. Você não precisa saber como codificar para fazer uma máquina executar tarefas complexas. Você acabou de falar (ou digitar) sua solicitação e o LLM cuida do resto.

Por exemplo, think about que você precisa executar a análise de sentimentos. No Software program 1.0, você teria que escrever algoritmos para lidar com isso. No Software program 2.0, você treinaria um modelo para detectar sentimentos. Mas no Software program 3.0, você simplesmente diz à máquina: “Analise o sentimento deste texto: ‘Eu amo ai!’” E assim, a máquina entende, analisa e fornece o resultado.

Com essa evolução em mente, Karpathy seguiu a próxima parte de sua palestra para discutir como os LLMs se encaixam neste novo mundo do software program 3.0.

Parte 1: Como pensar sobre LLMS

A Karpathy começou explorando como devemos pensar em grandes modelos de idiomas (LLMS), que são essenciais para a mudança para o software program 3.0. Ele citou Andrew Ng: “AI é a nova eletricidade.” Essa citação ressalta como os LLMs estão se tornando um recurso elementary, assim como a eletricidade, e transformando como interagimos com a tecnologia.

Veja como a Karpathy comparou os LLMs aos utilitários:

• Capex e Opex: Karpathy explicou que o treinamento de um LLM requer despesas de capital significativas (CAPEX), semelhantes à construção de uma grade de eletricidade. Uma vez treinado, o modelo se transfer para Despesas operacionais (OPEX)onde o LLM é servido por APIs, semelhante à como a eletricidade é distribuída às casas.
• Acesso medido: Os LLMs agora são prestados como serviços em que você paga com base no valor do uso (por exemplo, custo por milhão de tokens), semelhante à como a eletricidade é cobrada com base no consumo.

A Karpathy também explicou que os LLMs têm algumas características das plantas de fabricação de semicondutores (FABs), onde o custo de construção e treinamento desses modelos é enorme. Ele comparou empresas como Google e XAI (que usam aglomerados de GPU maciços) aos fabricantes tradicionais de semicondutores como a Intel, que têm suas próprias FABs para treinar modelos de {hardware} personalizado (como TPUs).

Finalmente, a Karpathy comparou o LLMS aos sistemas operacionais. Tradicionalmente, os sistemas operacionais têm sido a base dos ecossistemas de software program, gerenciamento de tarefas e memória. Da mesma forma, os LLMs estão se tornando ecossistemas de software program complexos, o “núcleo” das aplicações modernas. Esses LLMs não são mais apenas ferramentas simples; Eles estão se tornando parte integrante de todas as partes dos sistemas de software program, semelhantes a como um sistema operacional controla e executa aplicativos em um computador.

Isso marca uma mudança elementary na maneira como desenvolvemos o software program, não é mais sobre linhas de código, mas interagir com esses sistemas movidos a IA que funcionam quase como um novo tipo de computador.

Parte 2: Psicologia LLM

Em seguida, Karpathy mergulhou no psicologia de LLMS. Ele os descreve como “As pessoas espíritos.” O que isso significa? Bem, os LLMs são construídos usando Transformadores autoregressivoso que significa que eles simulam comportamentos humanos-especialmente quando se trata de linguagem.

Mas, assim como a People, os LLMs têm algumas peculiaridades e limitações. Vamos dar uma olhada:

• Alucinações: Às vezes, os LLMs podem cometer erros que os humanos não. Por exemplo, eles podem dizer “9.11> 9,9” ou insistir que existem dois r ‘em morango. Estes são conhecidos como “alucinações”. O modelo está gerando informações incorretas que parecem convincentes, mas estão totalmente erradas.
• Amnésia anterógrada: LLMs não conseguem se lembrar das coisas da maneira como os humanos fazem. Depois que uma conversa termina, eles esquecem tudo. Ao contrário dos humanos que aprendem e se adaptam ao longo do tempo, os LLMs não consolidam o conhecimento entre as sessões.
• Credulidade: Os LLMs são vulneráveis ​​a serem enganados por avisos maliciosos, levando -os a dar respostas prejudiciais ou incorretas. Isso significa que a supervisão humana é essential ao trabalhar com esses modelos.

Parte 3: Oportunidades na period do LLMS

Karpathy encerrou sua palestra falando sobre as incríveis oportunidades trazidas pelo Software program 3.0 e LLMs. Um dos desenvolvimentos mais emocionantes é o surgimento de aplicativos de autonomia parcial. Esses aplicativos permitem automatizar tarefas, mas ainda fornecem controle sobre o processo.

Veja o cursor, por exemplo. É um aplicativo que permite que os desenvolvedores interajam com o código usando a linguagem pure. Em vez de escrever todas as linhas de código, você pode solicitar ao aplicativo para gerar código, corrigir erros ou revisar alterações. É como ter um assistente de IA faz a maior parte do trabalho para você, tornando o processo de desenvolvimento muito mais rápido e fácil.

A KarPathy também introduziu o controle deslizante de autonomia: um recurso que permite aos usuários decidir quanto controle eles desejam dar ao LLM. Para tarefas básicas, o LLM pode assumir o controle complete, mas para tarefas mais complexas, você pode supervisionar o processo.

Os LLMs também têm um enorme potencial em indústrias como educação e codificação assistida por IA. Think about um tutor de IA ajudando os alunos a aprender ou um assistente de IA que ajuda os desenvolvedores a escrever e depurar o código com mais eficiência. As possibilidades são infinitas. Finalmente, Karpathy atraiu um paralelo entre agentes autônomos como o AutoPilot da Tesla e o futuro do software program autônomo alimentado pelo LLMS. Mudar de demos para produtos confiáveis ​​leva tempo, mas o futuro parece incrivelmente promissor.

Para saber mais, você pode conferir seus slides heré.

Recursos gratuitos:

Conclusão

Karpathy terminou sua palestra com uma mensagem poderosa: estamos entrando na década de agentes. À medida que os LLMs continuam melhorando e se tornam mais acessíveis, eles não serão apenas ferramentas, eles se tornarão agentes capazes de ações autônomas, reformulando as indústrias em todo o mundo. O futuro do software program não é mais um sonho distante, ele está acontecendo agora, e todos fazemos parte dessa transformação emocionante. O software program 3.0 está mudando a maneira como pensamos em programação.

LLMS não são apenas ferramentas; Eles estão se tornando o núcleo do software program moderno, permitindo que qualquer pessoa crie aplicativos e soluções sem precisar escrever código complexo. Se você ainda não está mergulhando no mundo da IA, agora é a hora de se envolver. As possibilidades são infinitas, e a melhor parte é: o futuro do software program já está aqui.

Vamos abraçar essa mudança e começar a construir o futuro do software program!

Olá, sou Nitika, criador de conteúdo e profissional de conteúdo experiente em tecnologia. Criatividade e aprender coisas novas são naturalmente para mim. Tenho experiência na criação de estratégias de conteúdo orientadas por resultados. Sou bem versado em gerenciamento de web optimization, operações de palavras -chave, redação de conteúdo da Internet, comunicação, estratégia de conteúdo, edição e redação.