Esta semana em Nova York, minha equipe Oracle realizou workshops para desenvolvedores corporativos sobre como construir geração aumentada de recuperação e aplicações de agente. O interesse foi tão grande que rapidamente tivemos que descobrir como dobrar a capacidade da sala (para grande desgosto do bombeiro). O interesse em IA estava claramente fora de cogitação. Mas a fluência em IA não period. Foi uma vibração (e público) diferente do que vimos em um curso nós construímos com DeepLearning.aio que atrai um público mais avançado pronto para construir agentes com reconhecimento de memória.
Recentemente argumentei que a IA empresarial está chegando de forma desigual entre empresas e até mesmo entre equipes dentro da mesma empresa. Mas depois de observar os desenvolvedores realizando esses diferentes workshops, acredito que essa adoção desigual aponta para algo ainda mais revelador: capacidade de engenharia desigual.
Dito de outra forma, a verdadeira divisão na IA empresarial não é apenas entre empresas que se movem rapidamente e empresas que se movem lentamente. É entre as equipes que tratam a IA como uma demonstração imediata e as equipes que aprendem, muitas vezes de forma dolorosa, que a IA de produção é principalmente um problema de engenharia de dados e software program. A IA empresarial ainda não está na period dos agentes. Estamos na period dos pré-requisitos.
Construindo os blocos de construção
O que quero dizer com “capacidade de engenharia”? Definitivamente, não me refiro ao acesso ao modelo. Quase todo mundo tem isso – ou terá em breve. Não, quero dizer as disciplinas práticas que transformam um modelo em um sistema: modelagem de dados, recuperação, avaliação, permissões, observabilidade e memória. Você sabe, as coisas pouco atraentes e “chatas” que tornam os projetos empresariais, particularmente projetos empresariais de IAsucesso.
Isso informou como minha equipe construiu nossos workshops. Não começamos com “veja como construir um funcionário autônomo”. Começamos com a camada de dados de IA: dados heterogêneos, representações múltiplas, incorporações, índices vetoriais, recuperação híbrida e compensações entre diferentes tipos de dados (relacionais, documentais, and so forth.). Em outras palavras, começamos com aquilo que a maioria do advertising and marketing de IA tenta ignorar. Grande parte do mundo da IA parece pensar que a IA começa com um immediate quando na verdade começa com coisas como design de esquema multimodelo, geração de vetores, indexação e recuperação híbrida.
Isso é importante porque os dados corporativos não estão organizados. Ele reside em tabelas, PDFs, tickets, painéis, políticas em nível de linha e 20 anos de improvisação organizacional. Se você não souber como modelar essa bagunça para recuperação, não terá IA corporativa. Você simplesmente obterá um sistema de preenchimento automático sofisticado. Como eu indiqueia parte difícil não é fazer com que um modelo pareça inteligente. É fazê-lo funcionar dentro da estranha realidade específica da empresa, onde as decisões reais são tomadas.
Por exemplo, a indústria fala sobre geração aumentada por recuperação como se fosse um recurso. Não é. É uma disciplina de engenharia. Estratégia de chunking, design de metadados, qualidade de recuperação, empacotamento de contexto, precisão e recuperação, correção e relevância: esses não são detalhes de implementação para limpar mais tarde. Eles são a coisa. A questão toda. Se o seu recuperador for fraco, seu modelo elaborará com segurança o contexto ruim. Se a sua fragmentação for desleixada, a qualidade da sua resposta será prejudicada antes mesmo que o modelo comece a raciocinar. Se seus metadados forem escassos, a filtragem será interrompida. E se você não tiver um ciclo de avaliação, não saberá nada disso até que um usuário lhe diga que o sistema está errado.
É aqui também permissões e observabilidade são tão críticas. Em uma demonstração, ninguém faz perguntas irritantes, como de onde veio a resposta ou o que o agente foi autorizado a tocar. Mas na produção do mundo actual, essas questões são o jogo inteiro. Um agente corporativo com acesso vago a ferramentas não é sofisticado. É um enorme problema de segurança. Resumindo, usar ferramentas de IA não é a mesma coisa que saber construir sistemas de IA. Muitas equipes podem solicitar, mas muito menos podem medir a qualidade da recuperação, depurar a montagem do contexto, definir limites de ferramentas ou criar ciclos de suggestions que melhorem o sistema.
Acompanhando a empresa
O contraste com o recente curso de curta duração do DeepLearning.AI sobre memória do agente é útil aqui. Esse curso é explicitamente direcionado a desenvolvedores que desejam ir além das interações de sessão única e pressupõe familiaridade com Pitão e conceitos básicos de grandes modelos de linguagem. Em outras palavras, esse público já está no topo da curva, falando sobre agentes conscientes da memória como o próximo passo. Por outro lado, meu público corporativo em Nova York geralmente estava no início da jornada. Isso não é uma crítica aos desenvolvedores empresariais. É uma pista. Grande parte da “lacuna de IA” nas empresas não tem a ver com boa vontade. É sobre quanto aprendizado explícito as equipes ainda precisam antes que as ferramentas se tornem memória muscular.
É por isso que continuo voltando a um argumento muito mais antigo que fiz sobre MLops. Naquela época, escrevi que o aprendizado de máquina fica difícil no momento em que sai do pocket book e entra no mundo das ferramentas, integração e operações. Isso period verdade em 2022 e é ainda mais verdade agora. IA Agente não revogou a lei básica do software program empresarial. Simplesmente adicionou mais peças móveis e um raio de explosão maior. A demonstração pode ser mais fácil do que nunca, mas o sistema enfaticamente não é.
Eu também alertaria que você provavelmente não deveria dizer às empresas que elas estão “atrasadas” porque ainda não adotou arquiteturas multiagentes ou o que quer que a moda atual exija. Em muitos casos, eles estão aprendendo exatamente o que precisam saber: como estruturar dados para recuperação, como avaliar resultados, como restringir ferramentas, como inspecionar falhas e como gerenciar o estado. Isso pode não resultar em palestras sensuais em conferências. No entanto, parece suspeito como a forma como as plataformas reais são construídas. Como observei, a maioria das equipes não precisa de mais inteligência arquitetônica, mas precisa de muito mais disciplina de engenharia.
Então, sim, a adoção desigual ainda é uma realidade. Mas acho que a história mais profunda e útil é esta: a adoção desigual é principalmente a expressão superficial da alfabetização desigual em engenharia de IA. Os verdadeiros vencedores em IA serão aqueles que ensinarem às suas equipes como fundamentar modelos em dados de negócios, avaliar o que esses modelos retornam, restringir o que os agentes podem fazer e lembrar apenas o que importa. Ou seja, os vencedores serão aqueles que souberem tornar a IA chata.
No momento, o tédio ainda está distribuído de forma muito desigual.