Seu programador de pares de IA não é uma pessoa – O’Reilly

No início, me peguei dizendo “você” para minhas ferramentas de IA – “Pode você adicionar novas tentativas?” “Ótima ideia!” – como se eu estivesse conversando com um desenvolvedor júnior. E então eu ficava bravo quando ele não me “entendia”.

Isso é por minha conta. Esses modelos não são pessoas. Um modelo de IA não entende. Ele gera e segue padrões. Mas a palavra-chave aqui é “isso”.

A Ilusão da Compreensão

Parece que há uma mente do outro lado porque o resultado é fluente e educado. Diz coisas como “Ótima ideia!” e “Eu recomendo…” como se pesasse opções e julgasse seu plano. Não aconteceu. O modelo não tem opiniões. Ele reconheceu padrões dos dados de treinamento e do seu immediate e, em seguida, sintetizou o próximo token.

Isso não torna a ferramenta inútil. Isso significa você é quem está fazendo o entendimento. O modelo é inteligente, rápido e muitas vezes correto, mas muitas vezes pode estar totalmente errado de uma forma que o confundirá. Mas o que é importante entender é que a culpa é sua se isso acontecer porque você não forneceu contexto suficiente.

Aqui está um exemplo de padrão ingênuo seguindo:

Um amigo pediu ao seu modelo para montar um projeto. Ele cuspiu um comentário em bloco que dizia literalmente “Isso é de autoria de .” Ele pesquisou o nome no Google. Foi um trecho público de alguém que o modelo basicamente aprendeu como um padrão—incluindo o comentário “de autoria de”–e repetiu de volta em um novo arquivo. Não é malicioso. Apenas mecânico. Ele não “sabia” que adicionar uma atribuição de autor falsa period um absurdo.

Construa confiança antes do código

O primeiro erro que a maioria das pessoas comete é o excesso de confiança. A segunda é a solicitação preguiçosa. A correção para ambos é a mesma: Seja preciso sobre as entradas e valide a suposição que você está lançando nos modelos.

Explique o contexto, as restrições, os limites do diretório e os critérios de sucesso.

Exigir diferenças. Execute testes. Peça para ele questionar suas suposições.

Faça com que ele reafirme seu problema e solicite uma confirmação.

Antes de lançar um problema de US$ 500/hora em um conjunto de execuções de modelos paralelos, faça sua própria lição de casa para ter certeza de que comunicou todas as suas suposições e que o modelo entendeu quais são seus critérios para o sucesso.

Falha? Olhe para dentro

Continuo caindo nessa armadilha quando peço que essa ferramenta assuma muita complexidade sem fornecer contexto suficiente. E quando falha, digito coisas como: “Você só pode estar brincando comigo? Por que você…”

Apenas lembre-se de que não existe “você” aqui além de você mesmo.

• Ele não compartilha suas suposições. Se você não disse para não atualizar o banco de dados, e ele escreveu uma migração idiota, você fez isso não descrevendo que a ferramenta não deveria se abster de fazê-lo.
• Ele não leu sua mente sobre o escopo. Se você não bloqueá-lo em uma pasta, ele refatorará o mundo de forma “útil”. Se ele tentar remover seu diretório inicial para ser útil? Isso é por sua conta.
• Não foi treinado apenas em código “bom”. Muito código na web… não é bom. Seu trabalho é especificar restrições e critérios de sucesso.

O modelo psychological que uso

Trate o modelo como um compilador para obter instruções. Entra lixo, sai lixo. Suponha que seja inteligente em relação aos padrões, não ao seu domínio. Faça com que show a correção com testes, invariantes e restrições.

Não é uma pessoa. Isso não é um insulto. É sua vantagem. Suponha que você pare de esperar julgamento em nível humano e comece a fornecer clareza em nível de máquina. Nesse caso, seus resultados saltam, mas não deixe que um acordo bajulador o leve a pensar que você tem um par de programadores ao seu lado.