A Anthropic está tornando mais fácil para os desenvolvedores aproveitarem as melhores práticas de engenharia de prompts, adicionando um recurso para melhorar os prompts e permitindo que exemplos de respostas sejam gerenciados dentro do Console Antrópico.
De acordo com a Anthropic, embora a qualidade imediata seja importante, pode ser demorado implementar as melhores práticas, e essas melhores práticas também podem variar entre os diferentes fornecedores de modelos. Com esse novo recurso de melhoria de immediate, a Anthropic está dando aos desenvolvedores a capacidade de pegar prompts existentes – sejam novos ou prompts anteriores escritos para outros modelos – e refiná-los usando Claude.
O melhorador de prompts usa uma variedade de métodos para melhorar os prompts, como o raciocínio em cadeia de pensamento, que adiciona uma seção dedicada onde Claude pode pensar sistematicamente nos prompts antes de responder; padronização de exemplos, onde os exemplos são convertidos em formato XML para consistência geral; enriquecimento de exemplos, onde os exemplos existentes são aumentados usando o raciocínio em cadeia de pensamento; reescrita de prompts para corrigir questões gramaticais; e adição de pré-preenchimento, onde a mensagem do Assistente é pré-preenchida para direcionar as ações de Claude e impor um determinado formato de saída.
Então, depois que Claude gerar o novo immediate, o usuário também poderá fornecer suggestions sobre o que funciona ou não funciona especificamente, o que melhora ainda mais o immediate.
Os primeiros testes da Anthropic mostraram que o melhorador imediato aumenta a precisão em 30% em uma tarefa de classificação multi-rótulo e eleva a adesão à contagem de palavras para 100% em uma tarefa de resumo.
Além disso, os desenvolvedores agora podem gerenciar exemplos de saída no Workbench, que é outra maneira de melhorar a qualidade da resposta. “Isso torna mais fácil adicionar novos exemplos com pares de entrada/saída claros ou editar exemplos existentes para refinar a qualidade da resposta”, escreveu Anthropic em um publicar.
Os desenvolvedores também podem usar o avaliador imediato para determinar o desempenho do immediate aprimorado em diferentes cenários. A empresa agora adicionou uma coluna de “resultado perfect” nas guias Avaliações para ajudar os desenvolvedores a avaliar os resultados em uma escala de 5 pontos.
“Esses recursos tornam mais fácil aproveitar as melhores práticas de engenharia imediata e construir aplicativos de IA mais confiáveis”, escreveu Anthropic.