A pilha de COGS agente
Como chefe de P&D de IA, passo muito tempo com arquitetos e CTOs, e a conversa quase sempre termina em um detalhamento do CPV que reflete a arquitetura do agente:
- Inferência de modelo: Tokens em chamadas de planejador/executor/verificador, geralmente o maior contribuinte para o CPV de software program de agência
- Ferramentas e efeitos colaterais: APIs pagas (por exemplo, pesquisa na Internet), taxas de automação por registro, novas tentativas e proteções contra gravação idempotente.
- Tempo de execução da orquestração: Trabalhadores, filas, armazenamento de estado e execução em área restrita para códigos e documentos.
- Memória e recuperação: Incorporações, armazenamento de vetores, atualização de índice e pontos de verificação de construção de contexto ou resumo.
- Governança e observabilidade: Rastreamento, suítes de avaliação, filtros de segurança e retenção de auditoria.
- Humanos no circuito: Revise o tempo, os escalonamentos e a carga de suporte criados por erros do agente.
Como o FinOps ajuda a padronizar a economia unitária quando os resultados abrangem ações, fluxos de trabalho e tarefas?
O Gartner alertou essa pressão de custos pode inviabilizar programas de agentes, o que torna a economia unitária um requisito de entrega.
Quando se trata da maioria dos produtos SaaS, os clientes não compram tokens brutos; em vez disso, compram progresso na conclusão do seu trabalho, por exemplo, casos resolvidos, pipelines atualizados, relatórios produzidos ou exceções tratadas. A economia da unidade torna-se acionável quando medimos no limite onde esse valor é entregue, e esse limite se expande à medida que seu SaaS agente amadurece: desde respostas na UI, até uma única operação aprovada, até um processo de várias etapas e, eventualmente, até uma responsabilidade recorrente que o agente executa de ponta a ponta. Na tabela a seguir, apresentamos essa estrutura e a métrica da unidade correspondente e o resultado a ser medido em cada nível de escopo.